الحوسبة الموزَّعة على السحابة: MapReduce
كانت MapReduce بمثابة طفرة في معالجة البيانات الضخمة التي أصبحت أساسية وتم تحسينها بشكل كبير. تعرّف على كيفية عمل MapReduce.
الأهداف التعليمية
خلال هذه الوحدة، سوف تتمكن مما يلي:
- تحديد نموذج البرمجة الموزَّعة الأساسية لـ MapReduce
- شرح كيفية إمكان MapReduce استغلال توازي البيانات
- تحديد إدخالات وإخراجات مهام الخريطة والتقليل
- تحديد مرونة المهمة، والإشارة إلى أهميتها لجدولة الوظائف الفعالة
- شرح استراتيجيات جدولة مهام الخريطة والتقليل في Hadoop MapReduce
- سرد عناصر بنية YARN، وتحديد دور كل عنصر
- تلخيص دورة حياة وظيفة MapReduce في YARN
- مقارنة بين تباين البنى ومخصصي الموارد من YARN وHadoop MapReduce السابق
- الإشارة إلى كيفية اختلاف جدولة المهام والوظائف في YARN مقارنة بـ Hadoop MapReduce السابق
بالشراكة مع د. ماجد صقر وجامعة كارنيجي ميلون.
المتطلبات الأساسية
- فهم الحوسبة السحابية، بما في ذلك نماذج خدمة المجموعة وموفرو الخدمات السحابية الشائعة
- معرفة التقنيات التي تمكّن حوسبة السحابة
- فهم كيفية دفع موفري خدمة السحابة للسحابة وكيفية حساب رسومها
- معرفة ما هي مراكز البيانات وسبب وجودها.
- معرفة كيفية إعداد مراكز البيانات، وتشغيلها، وتوفيرها
- فهم كيفية توفير موارد السحابة وقياسها
- كن على دراية بمفهوم الظاهرية
- معرفة الأنواع المختلفة للمحاكاة الظاهرية
- فهم الوضع الظاهري لوحدة المعالجة المركزية
- فهم المحاكاة الافتراضية للذاكرة
- فهم المحاكاة الظاهرية للإدخال\الإخراج
- معرفة أنواع البيانات المختلفة وكيفية تخزينها
- تكون على دراية بأنظمة الملفات الموزعة وكيفية عملها
- تكون على دراية بقواعد بيانات لغة NoSQL البرمجية وتخزين العنصر، وكيفية عملها
- معرفة البرمجة الموزَّعة وسبب فائدتها في السحابة