مهندس بيانات رئيسي (بايثون سبارك)

نحن نبحث عن مهندس بيانات رئيسي يمتلك خبرة عملية تزيد عن 5 سنوات وخلفية قوية في معالجة البيانات في الوقت الفعلي والدفعات، وتعبئة الحاويات، وتنظيم البيانات المستندة إلى السحابة. هذه الوظيفة مثالية لشخص شغوف ببناء خطوط بيانات قوية وقابلة للتوسع وفعالة، ويزدهر في بيئات مرنة وتعاونية.

المسؤوليات الرئيسية

• تصميم وبناء وصيانة خطوط بيانات في الوقت الفعلي باستخدام أطر البث مثل كافكا، أباتشي فلينك، وسبارك ستراكترد ستريمنغ.
• تطوير سير عمل معالجة الدفعات باستخدام أباتشي سبارك (بايثون سبارك)
• تنظيم وجدولة سير عمل البيانات باستخدام أطر التنظيم مثل أباتشي إيرفلو ومصنع بيانات أزور.
• تعبئة التطبيقات باستخدام دوكر، وإدارة النشر باستخدام هيلم، وتشغيلها على كوبرنيتس.
• تنفيذ حلول تخزين حديثة باستخدام تنسيقات مفتوحة مثل باركيت، دلتا ليك، وأباتشي آيسبرغ.
• بناء محركات تحليلات عالية الأداء باستخدام أدوات مثل ترينو أو بريستو.
• التعاون مع ديف أوبس لإدارة البنية التحتية باستخدام تيرافورم والتكامل مع خطوط أنابيب CI/CD عبر أزور ديف أوبس.
• ضمان جودة البيانات والاتساق باستخدام أدوات مثل جريت إكسبكتاشنز.
• كتابة كود بايثون وSQL وحدات، جيد الاختبار، وسهل الصيانة.
• تطوير طبقة مراقبة لمراقبة وتحسين الأداء عبر خطوط البيانات.
• قيادة وتوجيه فريق من مهندسي البيانات.
• المشاركة في الطقوس المرنة والمساهمة في تخطيط ومراجعات السبرينت.

المهارات والخبرات المطلوبة

• برمجة بايثون المتقدمة مع التركيز القوي على الكود الوحدوي والقابل للاختبار.
• معرفة قوية بـ SQL وخبرة في العمل مع مجموعات البيانات الكبيرة.
• خبرة عملية مع منصة سحابية رئيسية واحدة على الأقل (يفضل أزور).
• خبرة قوية في معالجة البيانات في الوقت الفعلي (كافكا، فلينك، أو سبارك ستريمنغ).
• خبرة في أباتشي سبارك (بايثون سبارك) لمعالجة الدفعات.
• خبرة في تنفيذ هياكل بحيرات البيانات والعمل مع التخزين العمودي (مثل كليك هاوس).
• إجادة استخدام مصنع بيانات أزور أو أباتشي إيرفلو لتنظيم البيانات.
• خبرة في بناء واجهات برمجة التطبيقات لعرض مجموعات البيانات الكبيرة.
• خبرة قوية مع دوكر وكوبرنيتس وهيلم.
• معرفة بتنسيقات بحيرات البيانات المفتوحة مثل باركيت، دلتا ليك، وآيسبرغ.
• خبرة أساسية مع تيرافورم لتوفير البنية التحتية.
• خبرة عملية مع أطر جودة البيانات (مثل جريت إكسبكتاشنز).
• الراحة في العمل في فرق تطوير مرنة.
• قدرة مثبتة في تصحيح الأخطاء وضبط الأداء لوظائف البيانات في الوقت الفعلي والدفعات.
• خبرة مع أدوات مدفوعة بالذكاء الاصطناعي (مثل النص إلى SQL) تعتبر ميزة.
• درجة البكالوريوس في علوم الكمبيوتر أو تخصص ذي صلة.

لدينا فريق مذهل مكون من أكثر من 700 فرد يعملون على مشاريع ومنتجات مؤسسية مبتكرة للغاية. تشمل قاعدة عملائنا شركات التجزئة وCPG من فورتشن 100، وسلاسل المتاجر الرائدة، والشركات المالية سريعة النمو، والعديد من الشركات الناشئة في وادي السيليكون.

ما يميز كونفيز هو تركيزنا على العمليات والثقافة. كونفيز معتمد بـ ISO 9001:2015 (QMS)، ISO 27001:2022 (ISMS)، ISO 20000-1:2018 (ITSM)، ISO 14001:2015 (EMS)، ISO 45001:2018 (OHSMS). لدينا ثقافة نابضة بالحياة للتعلم من خلال التعاون وجعل مكان العمل ممتعًا.

الأشخاص الذين يعملون معنا يعملون مع تقنيات متطورة بينما يساهمون في نجاح الشركة وكذلك لأنفسهم.

لمعرفة المزيد عن كونفيز المحدودة، قم بزيارة: https://www.linkedin.com/company/confiz-pakistan/