مهندس بيانات - منصات البيانات - أمازون ويب

في هذه الوظيفة، ستعمل في أحد مراكز الابتكار الخاصة بعملاء آي بي إم (مراكز التسليم)، حيث نقدم خبرة فنية وصناعية عميقة لمجموعة واسعة من العملاء في القطاعين العام والخاص حول العالم. تقدم مراكز التسليم لدينا مهارات وخبرات فنية محلية لعملائنا لدفع الابتكار واعتماد التكنولوجيا الجديدة.

في هذه الوظيفة، ستعمل في أحد مراكز الابتكار الخاصة بعملاء آي بي إم (مراكز التسليم)، حيث نقدم خبرة فنية وصناعية عميقة لمجموعة واسعة من العملاء في القطاعين العام والخاص حول العالم. تقدم مراكز التسليم لدينا مهارات وخبرات فنية محلية لعملائنا لدفع الابتكار واعتماد التكنولوجيا الجديدة.

• بصفتك مهندس بيانات، ستقوم بتطوير وصيانة وتقييم واختبار حلول البيانات الكبيرة. ستكون مشاركًا في تطوير حلول البيانات باستخدام إطار عمل سبارك مع بايثون أو سكالا على هادوب ومنصة بيانات أمازون السحابية.
• المسؤوليات:
• خبرة في بناء خطوط بيانات لاستيعاب ومعالجة وتحويل البيانات من الملفات والتدفقات وقواعد البيانات. معالجة البيانات باستخدام سبارك، بايثون، باي سبارك، سكالا، وهايف، وهايباز أو قواعد بيانات NoSQL الأخرى على منصات البيانات السحابية (أمازون) أو HDFS.
• خبرة في تطوير كود برمجي فعال لحالات استخدام متعددة باستخدام إطار عمل سبارك / باستخدام بايثون أو سكالا وتقنيات البيانات الكبيرة لحالات استخدام متنوعة مبنية على المنصة.
• خبرة في تطوير خطوط بيانات متدفقة.
• خبرة في العمل مع مكونات نظام هادوب / أمازون لتنفيذ حلول قابلة للتوسع لتلبية أحجام البيانات المتزايدة باستمرار، باستخدام تقنيات البيانات الكبيرة / السحابة مثل أباتشي سبارك، كافكا، وأي حوسبة سحابية أخرى.

• إجمالي 5-8+ سنوات من الخبرة في إدارة البيانات (DW، DL، منصة البيانات، بحيرة البيانات) ومهارات هندسة البيانات.
• حد أدنى 5+ سنوات من الخبرة في تقنيات البيانات الكبيرة مع خبرة واسعة في هندسة البيانات في سبارك / بايثون أو سكالا؛
• حد أدنى 3 سنوات من الخبرة على منصات البيانات السحابية على أمازون؛
• خبرة في AWS EMR / AWS Glue / DataBricks، AWS RedShift، DynamoDB.

• شهادة في أمازون وData Bricks أو مطورين معتمدين في سبارك من كلوديرا.