الوصف الوظيفي
دور المشروع : مهندس بيانات
وصف دور المشروع : تحديد متطلبات البيانات وبنيتها للتطبيق. نمذجة وتصميم هيكل بيانات التطبيق، التخزين والتكامل.
المهارات المطلوبة : منصة داتابريكس لتحليل البيانات الموحد
المهارات المرغوبة : لا يوجد
يتطلب الحد الأدنى 7.5 سنوات من الخبرة
المؤهل التعليمي : 15 سنة تعليم بدوام كامل
ملخص: بصفتك مهندس بيانات، ستحدد متطلبات البيانات وبنيتها للتطبيق. سيتضمن يومك النموذجي نمذجة وتصميم هيكل بيانات التطبيق، التخزين، والتكامل، مع ضمان توافق بنية البيانات مع الأهداف التجارية العامة والمواصفات الفنية. ستتعاون مع فرق مختلفة لضمان أن تكون بنية البيانات قوية، قابلة للتوسع، وفعالة، مع معالجة أي تحديات تظهر أثناء عملية التطوير. سيكون لدورك تأثير كبير في تشكيل مشهد البيانات في المؤسسة، مما يمكّن من اتخاذ قرارات مستندة إلى البيانات وتعزيز الابتكار من خلال ممارسات إدارة البيانات الفعالة. المسؤوليات: تطوير خطوط أنابيب ETL/ELT عالية الجودة وقابلة للتوسع باستخدام تقنيات داتابريكس بما في ذلك دلتا ليك، أوتو لودر، وDLT. مهارات برمجة وتصحيح ممتازة في بايثون. خبرة عملية قوية مع باي سبارك لبناء منطق تحويل البيانات والتحقق منها بكفاءة. يجب أن تكون بارعًا في منصة سحابية واحدة على الأقل: AWS، GCP، أو Azure. إنشاء وظائف DBX معيارية للتحويل، إخفاء المعلومات الشخصية، ومنطق التحقق - قابلة لإعادة الاستخدام عبر DLT ودفاتر الملاحظات. تنفيذ أنماط الإدخال باستخدام أوتو لودر مع نقاط التحقق وتطور المخطط للبيانات المنظمة وشبه المنظمة. بناء خطوط أنابيب DLT آمنة وقابلة للرصد مع توقعات DLT، تدعم طبقات البرونز/الفضة/الذهب. تكوين كتالوج يونيتي: إعداد الكتالوجات، المخططات، وصول المستخدم/المجموعة، تمكين تسجيل التدقيق، وتعريف إخفاء المعلومات للحقول الشخصية. تمكين الوصول الآمن للبيانات عبر المجالات ومساحات العمل عبر مواقع يونيتي الخارجية، الأحجام، وتتبع السلالة. الوصول إلى واستخدام أصول البيانات من سوق داتابريكس لدعم الإثراء، تدريب النماذج، أو القياس. التعاون مع أصحاب المصلحة في مشاركة البيانات لتنفيذ مشاركة دلتا - داخليًا وخارجيًا. دمج باور بي آي/تابلو/لوكر مع داتابريكس باستخدام موصلات محسّنة (ODBC/JDBC) وضوابط أمان كتالوج يونيتي. بناء لوحات معلومات SQL موجهة لأصحاب المصلحة داخل داتابريكس لمراقبة مؤشرات الأداء الرئيسية، صحة خطوط أنابيب البيانات، وSLA التشغيلية. إعداد مجموعات بيانات متوافقة مع الذكاء الاصطناعي: إدارة تضمينات المتجهات، الفهرسة باستخدام بحث المتجهات من داتابريكس، واستخدام متجر الميزات مع تدفق ML. تعبئة ونشر خطوط الأنابيب باستخدام حزم أصول داتابريكس من خلال خطوط أنابيب CI/CD في GitHub أو GitLab. استكشاف الأخطاء، وضبط، وتحسين الوظائف باستخدام محرك فوتر واحتساب الخادم، مع ضمان كفاءة التكلفة وموثوقية SLA. الخبرة في الخدمات السحابية ذات الصلة بهندسة البيانات، تخزين البيانات، معالجة البيانات، تخزين البيانات، البث المباشر، والحوسبة بدون خادم. خبرة عملية في تطبيق تقنيات تحسين الأداء. فهم نمذجة البيانات ومبادئ تخزين البيانات أمر ضروري. ما يُفضل: 1. الشهادات: محترف معتمد من داتابريكس أو شهادات مماثلة. 2. تعلم الآلة: معرفة بمفاهيم تعلم الآلة وخبرة مع مكتبات تعلم الآلة الشهيرة. 3. معرفة بمعالجة البيانات الكبيرة (مثل: سبارك، هادوب، هايف، كافكا) 4. تنظيم البيانات: أباتشي إيرفلو. 5. معرفة بخطوط أنابيب CI/CD وممارسات DevOps في بيئة سحابية. 6. خبرة مع أدوات ETL مثل إنفورماتكا، تالند، ماتي ليون، أو فايف تران. 7. إلمام بأداة DBT (أداة بناء البيانات) معلومات إضافية: - يجب أن يكون لدى المرشح حد أدنى من 7.5 سنوات من الخبرة في منصة داتابريكس لتحليل البيانات الموحد. - هذه الوظيفة مقرها في مكتبنا في بنغالور. المؤهل التعليمي: - يتطلب 15 سنة من التعليم بدوام كامل.
لقد تمت ترجمة هذا الإعلان الوظيفي بواسطة الذكاء الاصطناعي وقد يحتوي على بعض الاختلافات أو الأخطاء البسيطة.
