مهندس برمجيات رئيسي

فريق منصة البيانات المتدفقة مسؤول عن بناء وإدارة هياكل معالجة البيانات المعقدة باستخدام أحدث تقنيات المصادر المفتوحة، وبناء مقاييس وتصويرات على البيانات المتدفقة المولدة، وإنشاء مجموعات بيانات متنوعة لأشكال مختلفة من الاستهلاك وأنماط الوصول. نحن نبحث عن مهندس برمجيات رئيسي ذو خبرة لمساعدتنا في بناء وتوسيع الجيل التالي من منصات البث والبنية التحتية في فاناتكس كوميرس.

المسؤوليات  

1. تصميم وبناء منصات بيانات متدفقة في الوقت الحقيقي تتيح توفر البيانات في أقل من ثانية لقواعد بيانات MPP (StarRocks، Apache Pinot، Apache Druid)
2. تصميم وتنفيذ خطوط بيانات تتعامل مع انحرافات البيانات المعقدة وتستفيد من استراتيجيات توزيع البيانات لتحقيق أداء استعلام مثالي
3. تحسين معلمات جدول Apache Iceberg بما في ذلك سياسات التجميع، وتطور الأقسام، وحجم الملفات، وإدارة اللقطات لأحمال العمل المتدفقة
4. تقديم القيادة التقنية في الهياكل المعمارية للبث، وتوجيه الفرق حول الأنماط المثلى لالتقاط البيانات في الوقت الحقيقي، ومعالجتها، وتحويلها إلى أنظمة MPP
5. المساهمة في مشاريع قواعد بيانات MPP مفتوحة المصدر (StarRocks، Apache Pinot، Apache Druid) مع تحسينات في الأداء، وإصلاح الأخطاء، وتعزيز الميزات
6. تصميم استراتيجيات توزيع البيانات ومخططات التجميع لتقليل عمليات الخلط وزيادة فوائد التوزيع في الاستعلامات الموزعة
7. تحسين البنية التحتية الحالية للبث من خلال التحليل، وتحديد الاختناقات في معالجة انحراف البيانات، وتنفيذ استراتيجيات إعادة التوازن الديناميكية

المؤهلات  

1. خبرة تزيد عن 8 سنوات في تطوير البرمجيات
2. خبرة مثبتة في بناء خطوط بيانات متدفقة جاهزة للإنتاج لقواعد بيانات MPP (StarRocks/Pino/Druid) مع زمن استجابة ثابت أقل من ثانية
3. فهم قوي لأنماط انحراف البيانات وتقنيات التخفيف بما في ذلك الملح، والتجميع، والتقسيم التكيفي، وتوزيع المفاتيح المخصص
4. خبرة عملية في استراتيجيات توزيع البيانات في الأنظمة الموزعة لتحسين الانضمام المحلي وتقليل عمليات الخلط الشبكي
5. معرفة متقدمة بـ Apache Iceberg لأحمال العمل المتدفقة: عزل اللقطات، وضبط تنسيق الملفات، واستراتيجيات التجميع، وتطور الأقسام، وإدارة البيانات الوصفية
6. مساهمات مثبتة في المصادر المفتوحة لقواعد بيانات MPP أو المشاريع المجاورة (التزامات، طلبات سحب، مقترحات تصميم، تفاعل مع المجتمع)
7. إجادة في Java و/أو C++
8. خبرة عميقة في تحسين SQL، وتخطيط الاستعلامات الموزعة، وخطط التنفيذ الفيزيائية في أنظمة MPP
9. خبرة في تحسينات مثل: توزيع الأجهزة اللوحية، والتجميع، ومجموعات التوزيع، ووجهات النظر المادية، ونماذج المفاتيح الأساسية