الوصف الوظيفي
دور المشروع : مهندس بيانات
وصف دور المشروع : تحديد متطلبات البيانات وهيكلها للتطبيق. نمذجة وتصميم هيكل بيانات التطبيق، التخزين والتكامل.
المهارات المطلوبة : منصة تحليلات البيانات الموحدة من داتابريكس
المهارات الجيدة أن تكون : لا يوجد
الحد الأدنى من 7.5 سنوات من الخبرة مطلوبة
المؤهل التعليمي : 15 سنة من التعليم بدوام كامل
ملخص: كمهندس بيانات، ستقوم بتعريف متطلبات البيانات وهيكلها للتطبيق. يومك المعتاد سيتضمن نمذجة وتصميم هيكل بيانات التطبيق، التخزين، والتكامل، مع ضمان توافق بنية البيانات مع الأهداف التجارية العامة والمواصفات الفنية. ستتعاون مع فرق مختلفة لضمان أن بنية البيانات قوية وقابلة للتوسع وفعالة، مع معالجة أي تحديات تظهر خلال عملية التطوير. سيكون دورك محورياً في تشكيل مشهد البيانات في المؤسسة، مما يمكن اتخاذ قرارات مستندة إلى البيانات ويعزز الابتكار من خلال ممارسات إدارة البيانات الفعالة. المسؤوليات: تطوير خطوط أنابيب ETL/ELT عالية الجودة وقابلة للتوسع باستخدام تقنيات داتابريكس بما في ذلك دلتا ليك، أوتو لودر، وDLT. مهارات برمجة وتصحيح ممتازة في بايثون. خبرة قوية في استخدام باي سبارك لبناء منطق تحويل البيانات والتحقق منها بكفاءة. يجب أن تكون بارعاً في منصة سحابية واحدة على الأقل: AWS، GCP، أو Azure. إنشاء وظائف DBX معيارية للتحويل، وإخفاء المعلومات الشخصية، ومنطق التحقق - قابلة لإعادة الاستخدام عبر DLT ودفاتر الملاحظات. تنفيذ أنماط الإدخال باستخدام أوتو لودر مع نقاط التحقق وتطور المخطط للبيانات الهيكلية وشبه الهيكلية. بناء خطوط أنابيب DLT آمنة وقابلة للرصد مع توقعات DLT، تدعم طبقات برونزية/فضية/ذهبية. تكوين كتالوج يونيتي: إعداد الكتالوجات، المخططات، وصول المستخدم/المجموعة، تمكين تسجيل التدقيق، وتحديد إخفاء المعلومات للحقول الشخصية. تمكين الوصول الآمن إلى البيانات عبر المجالات ومساحات العمل عبر مواقع يونيتي الخارجية، والحجوم، وتتبع النسب. الوصول إلى الأصول البيانية من سوق داتابريكس لدعم الإثراء، تدريب النماذج، أو القياس. التعاون مع أصحاب المصلحة في مشاركة البيانات لتنفيذ مشاركة دلتا - داخلياً وخارجياً. دمج باور بي آي/تابلو/لوكر مع داتابريكس باستخدام موصلات محسنة (ODBC/JDBC) وضوابط أمان كتالوج يونيتي. بناء لوحات معلومات SQL موجهة لأصحاب المصلحة داخل داتابريكس لمراقبة مؤشرات الأداء الرئيسية، وصحة خطوط أنابيب البيانات، وSLA التشغيلية. إعداد مجموعات بيانات متوافقة مع Gen AI: إدارة تضمينات المتجهات، الفهرسة باستخدام بحث المتجهات من داتابريكس، واستخدام متجر الميزات مع تدفق ML. حزم ونشر خطوط الأنابيب باستخدام حزم أصول داتابريكس من خلال خطوط أنابيب CI/CD في GitHub أو GitLab. استكشاف الأخطاء، وضبط، وتحسين الوظائف باستخدام محرك فوثون والحوسبة بدون خادم، مع ضمان كفاءة التكلفة وموثوقية SLA. خبرة في الخدمات السحابية ذات الصلة بهندسة البيانات، تخزين البيانات، معالجة البيانات، تخزين البيانات، البث المباشر، والحوسبة بدون خادم. خبرة عملية في تطبيق تقنيات تحسين الأداء. فهم نمذجة البيانات ومبادئ تخزين البيانات أمر ضروري. ما هو جيد أن يكون:
1. شهادات: محترف معتمد من داتابريكس أو شهادات مماثلة.
2. تعلم الآلة: معرفة بمفاهيم تعلم الآلة وخبرة مع مكتبات تعلم الآلة الشائعة.
3. معرفة بمعالجة البيانات الكبيرة (مثل، سبارك، هادوب، هايف، كافكا)
4. تنسيق البيانات: أباتشي إيرفلو.
5. معرفة بخطوط أنابيب CI/CD وممارسات DevOps في بيئة سحابية.
6. خبرة مع أدوات ETL مثل إنفورماتيكا، تالند، ماتي ليون، أو فايف تران.
7. الإلمام بـ DBT (أداة بناء البيانات) معلومات إضافية: - يجب أن يكون لدى المرشح حد أدنى من 7.5 سنوات من الخبرة في منصة تحليلات البيانات الموحدة من داتابريكس.
- هذه الوظيفة مقرها في مكتبنا في بنغالور.
لقد تمت ترجمة هذا الإعلان الوظيفي بواسطة الذكاء الاصطناعي وقد يحتوي على بعض الاختلافات أو الأخطاء البسيطة.
