مهندس بيانات (تركيز البنية التحتية وديف أوبس)

نبحث عن مهندس بيانات Azure ماهر لديه خبرة عميقة في البنية التحتيةالسحابية وأتمتة الديف أوبس. سيكون هذا الدور الهجين مسؤولاً عن تصميم وبناء وتحسين وأتمتة منصة البيانات الكلية ضمن نظام أزور.
يجب أن يضمن المرشح المثالي أن تكون حلول البيانات قابلة للتطوير وموثوقة ومُنفّذة باستخدام أحدث ممارسات البنية التحتية ككود (IaC) وعمليات الدمج والتسليم المستمر (CI/CD).
المسؤوليات الأساسية
تطوير وهندسة منصة البيانات
تصميم وتنفيذ ETL/ELT: تطوير وتحسين وصيانة خطوط بيانات قابلة للتوسع باستخدام بايثون وإس كيو إل وخدمات البيانات الأساسية في Azure.
إدارة خدمات البيانات في Azure: هندسة وإدارة مكونات بيانات رئيسية في Azure، بما في ذلك:
بحيرات البيانات: توفير وتنظيم البيانات في Azure Data Lake Storage (ADLS Gen2).
معالجة البيانات: تطبيق منطق تحويل وتحليل البيانات باستخدام Azure Data Factory (ADF)، وAzure Synapse Pipelines، وAzure Databricks (باستخدام Spark/PySpark).
مخزن البيانات: تصميم وتحسين مستودع البيانات المؤسسي في Azure Synapse Analytics (SQL Pool).
نمذجة البيانات والجودة: تحديد وتطبيق معايير نمذجة البيانات وتنفيذ فحوص جودة البيانات ضمن الأنابيب.
البنية التحتية والسحابة وأتمتة DevOps
البنية التحتية ككود (IaC): تصميم، إدارة وتوفير جميع موارد بيانات أزور (ADLS، Synapse، ADF، Databricks Clusters) باستخدام تيرافورم أو قوالب ARM/Bicep.
تنفيذ CI/CD: بناء والحفاظ على خطوط الدمج والتسليم المستمر الآلية لجميع الشيفرات (البيانات والبنية والتطبيق) باستخدام إجراءات جيت هب أو أدوات Azure DevOps.
التعبئة بالحاويات والحوسبة: استخدام داکر وإدارة بيئات النشر باستخدام أزور كييويرنيتس سيرفيس (AKS) أو أزور كونتينر إِنسِستانسِس عند الحاجة لتطبيقات البيانات.
المراقبة والسجلات والأمن: إعداد مراقبة شاملة وتنبيه باستخدام أزور مونيتور وLog Analytics. تنفيذ ضوابط أمان الشبكة والوصول عبر منصة البيانات.
المهارات والمؤهلات المطلوبة
Azure Cloud: خبرة عملية في تصميم ونشر حلول بيانات كاملة ضمن بيئة أزور.
البرمجة: إتقان عالي لـ بايثون (بما في ذلك PySpark) ومعرفة قوية بـ إس كيو إل.
DevOps وIaC: خبرة إنتاجية مثبتة مع تيرافورم أو ARM/Bicep لأتمة نشر بنية Azure التحتية.
CI/CD: خبرة في إعداد تدفقات CI/CD باستخدام إجراءات جيت هب أو أدوات Azure DevOps.
أدوات البيانات: معرفة عميقة بـ أزور داتا فاكتوري، أزور داتا برِبِكس، وأزور سينابس أ analytics.
التنسيق: خبرة في أدوات تنظيم تدفقات العمل مثل Azure Data Factory أو Apache Airflow.
المؤهلات المفضلة:
شهادات Azure مثل Azure Data Engineer Associate (DP-203) أو Azure DevOps Engineer Expert (AZ-400).
الإلمام بأدوات حوكمة البيانات مثل Azure Purview.
الخبرة في إدخال البيانات في الوقت الحقيقي باستخدام Azure Event Hubs أو Azure Stream Analytics.