مهندس بيانات كبيرة - بث

هذه الوظيفة لأحد عملاء ويك داي. نطاق الراتب: 1900000 - 2800000 روبية (أي 19-28 لبا). الحد الأدنى من الخبرة: 4 سنوات. الموقع: عن بُعد (الهند). نوع الوظيفة: دوام كامل. نحن نبحث عن مهندس بيانات كبيرة ذو مهارات عالية - متخصص في البث، لتصميم وبناء وصيانة أنظمة معالجة البيانات في الوقت الحقيقي على نطاق واسع.
تركز هذه الوظيفة بشكل حصري على خطوط أنابيب بيانات البث وتتطلب خبرة عميقة في تطوير الواجهة الخلفية المعتمدة على جافا، بالإضافة إلى خبرة عملية في Apache Spark Streaming أو نظم البث باستخدام Hadoop.
المرشح المثالي يزدهر في البيئات عالية الأداء ولديه شغف قوي لبناء منصات بيانات قابلة للتوسع ومنخفضة الكمون.
المسؤوليات الرئيسية تصميم وتطوير وتحسين خطوط أنابيب بيانات البث في الوقت الحقيقي للأنظمة الموزعة على نطاق واسع.
بناء وصيانة أطر إدخال البيانات ومعالجة البيانات في الوقت الحقيقي باستخدام Apache Spark Streaming وتقنيات البث المعتمدة على Hadoop.
تطوير حلول عالية الأداء من الدرجة الإنتاجية باستخدام جافا كلغة برمجة أساسية.
ضمان تلبية أنظمة البث لمتطلبات القابلية للتوسع، تحمل الأخطاء، الموثوقية، ومنخفضة الكمون.
دمج خطوط أنابيب البث مع التطبيقات والأنظمة التحليلية.
مراقبة واستكشاف وتحسين الاختناقات في الأداء عبر سير عمل بيانات البث.
التعاون بشكل وثيق مع فرق المنصة والبنية التحتية والتطبيقات لتقديم حلول بث شاملة.
دعم ممارسات CI/CD للتحسين المستمر والنشر الموثوق لخطوط أنابيب البيانات.
المهارات التقنية خبرة قوية في معالجة البيانات في الوقت الحقيقي وهياكل البث.
خبرة عملية مع Apache Spark Streaming و/أو نظم البث باستخدام Hadoop (لا معالجة دفعات).
إتقان متقدم في جافا لتطوير الأنظمة الموزعة على نطاق واسع.
خبرة في خطوط أنابيب CI/CD وممارسات النشر من الدرجة الإنتاجية.
إلمام بالمنصات السحابية مثل AWS أو Microsoft Azure أو Google Cloud Platform.
فهم قوي لضبط أداء النظام، تحمل الأخطاء، ومفاهيم الحوسبة الموزعة.
المهارات هندسة بيانات كبيرة، بث في الوقت الحقيقي، Apache Spark Streaming، بث Hadoop، جافا، منصات سحابية (AWS / Azure / GCP)، CI/CD