الوصف الوظيفي
دور المشروع : مهندس منصة بيانات
وصف دور المشروع : يتم تصميم مخطط منصة البيانات وتنفيذ التصميم، بما في ذلك مكونات منصة البيانات ذات الصلة. يتم التعاون مع مهندسي التكامل ومهندسي البيانات لضمان التكامل المتماسك بين الأنظمة ونماذج البيانات.
المهارات المطلوبة : منصة داتابريكس لتحليلات البيانات الموحدة
المهارات الجيدة : لا يوجد
تتطلب الحد الأدنى من 5 سنوات من الخبرة
المؤهلات التعليمية : 15 سنة من التعليم بدوام كامل
ملخص: يتم البحث عن مطور داتابريكس كبير ذو خبرة واسعة في بناء وإدارة منصات البيانات الحديثة على أزور باستخدام بنية بحيرة البيانات. يجب أن يكون لدى المرشح المثالي خبرة عملية قوية في باي سبارك وSQL وخدمات بيانات أزور، وسجل حافل في تطوير خطوط بيانات قابلة للتوسع وفعالة. يومك المعتاد سيتضمن التعاون مع مهندسي التكامل ومهندسي البيانات لضمان التكامل السلس بين الأنظمة ونماذج البيانات، مع معالجة أي تحديات قد تطرأ خلال عملية التنفيذ. ستشارك في مناقشات مع أصحاب المصلحة لجمع المتطلبات وتقديم رؤى تدفع الهيكل العام لمنصة البيانات، لضمان تلبيتها لاحتياجات المؤسسة بشكل فعال. الأدوار والمسؤوليات: - تصميم وبناء وتحسين خطوط بيانات قابلة للتوسع باستخدام داتابريكس، باي سبارك، وSQL على أزور.
- تنفيذ بنية بحيرة البيانات لعمليات إدخال البيانات ومعالجتها وتخزينها.
- بناء وإدارة جداول دلتا ليك وأداء تطور المخطط والإصدار.
- العمل مع تخزين بيانات أزور (ADLS) ومصنع بيانات أزور (ADF) وأزور سينابس لتكامل البيانات وتحويلها.
- التعاون مع مهندسي البيانات والمحللين والفرق التجارية لفهم المتطلبات وتصميم حلول بيانات فعالة.
- تحسين أداء خطوط بيانات كبيرة الحجم وحل مشكلات جودة البيانات أو تأخيرها.
- المساهمة في أفضل الممارسات حول الترميز والاختبار وسير العمل في هندسة البيانات.
- توثيق الحلول التقنية وصيانة مستودعات التعليمات البرمجية.
- من المتوقع أن تكون خبيرًا في المجال.
- تطوير وصيانة الوثائق المتعلقة بهندسة منصة البيانات. المهارات المهنية والتقنية: - المهارات الأساسية: الكفاءة في منصة داتابريكس لتحليلات البيانات الموحدة.
- خبرة عملية قوية مع باي سبارك وSQL المتقدم لمعالجة البيانات على نطاق واسع.
- خبرة عميقة في منصة داتابريكس بما في ذلك دفاتر الملاحظات والوظائف ودلتا ليك.
- خبرة قوية مع خدمات السحابة من أزور: ADLS Gen2 وADF وأزور سينابس وخزنة المفاتيح، إلخ.
- معرفة بمفاهيم بنية بحيرة البيانات وتنفيذها وإدارتها.
- خبرة في أدوات التحكم في الإصدار مثل Git وأنابيب CI/CD.
- مهارات ممتازة في حل المشكلات وتصحيح الأخطاء.
- قدرات قوية في التواصل والتعاون عبر الفرق متعددة الوظائف.
- فهم قوي لتقنيات تكامل البيانات وأفضل الممارسات.
- خبرة في الحلول المعتمدة على السحابة وهياكلها.
- معرفة بأطر حوكمة البيانات ومتطلبات الامتثال.
- القدرة على تصميم خطوط بيانات قابلة للتوسع وفعالة. المهارات الجيدة: خبرة في فحص جودة البيانات وأطر التحقق. التعرض لممارسات DevOps والبنية التحتية ككود (IaC) في بيئات أزور. معرفة بأدوات حوكمة البيانات مثل كتالوج يونيتي أو أزور بريفيو. معرفة بجداول دلتا الحية (DLT) تعتبر ميزة. معلومات إضافية: - يجب أن يكون لدى المرشح خبرة لا تقل عن 5 سنوات في منصة داتابريكس لتحليلات البيانات الموحدة.
- هذه الوظيفة مقرها في مكتبنا في حيدر أباد.
- يتطلب 15 سنة من التعليم بدوام كامل.
لقد تمت ترجمة هذا الإعلان الوظيفي بواسطة الذكاء الاصطناعي وقد يحتوي على بعض الاختلافات أو الأخطاء البسيطة.
