مهندس بيانات داتابريكس

الوصف الوظيفي: إتقان هندسة بيانات داتابريكس.
المعرفة بمفاهيم ETL.
إتقان كتابة استعلامات SQL، وتحسين الأداء.
المعرفة بكتابة سكربتات بايثون.
مهارات تواصل جيدة.
المؤهلات المطلوبة: 1.
درجة البكالوريوس في علوم الحاسوب، أو تكنولوجيا المعلومات، أو مجال ذي صلة.
2. من 4 إلى 7 سنوات من الخبرة كمهندس بيانات مع التركيز على داتابريكس.
3. خبرة مثبتة في بناء خطوط ETL والعمل مع مجموعات بيانات كبيرة.
4. مهارات تحليلية وحل المشكلات قوية.
5. قدرات تواصل وتعاون ممتازة للعمل بفعالية في بيئة الفريق.
المسؤوليات الرئيسية: 1.
تصميم وتطوير وصيانة خطوط بيانات قابلة للتوسع باستخدام داتابريكس وأباتشي سبارك.
2. تنفيذ سير عمل ETL وضمان إدخال البيانات بكفاءة من مصادر متعددة.
3. التعاون مع علماء البيانات لتحضير وتحويل البيانات لمشاريع التحليلات والتعلم الآلي.
4. تحسين تخزين البيانات وأداء المعالجة داخل داتابريكس.
5. ضمان جودة البيانات وموثوقيتها من خلال عمليات الاختبار الآلي والتحقق.
6. توثيق معايير معالجة البيانات وسير العمل للرجوع إليها من قبل الفريق.
7. استكشاف مشكلات خطوط البيانات وتقديم حلول في الوقت المناسب.
8. البقاء على اطلاع بأحدث الميزات وأفضل الممارسات لداتابريكس والتقنيات ذات الصلة.