إنشاء تجمع مشترك من الأجهزة الظاهرية لعلوم البيانات
في هذه المقالة، ستتعلم كيفية إنشاء تجمع مشترك من الأجهزة الظاهرية لعلوم البيانات (DSVMs) لفريق. يوفر استخدام تجمع مشترك مزايا مهمة:
- استخدام أفضل للموارد
- مشاركة أسهل والتعاون
- إدارة أكثر فعالية لموارد DSVM
يمكنك استخدام العديد من الطرق والتقنيات لإنشاء مجموعة من DSVMs. تركز هذه المقالة على تجمعات الأجهزة الظاهرية التفاعلية (VMs). تتضمن البنية الأساسية البديلة للحوسبة المدارة حساب Azure التعلم الآلي. لمزيد من المعلومات، تفضل بزيارة Create compute cluster.
تجمع أجهزة ظاهرية تفاعلية
توفر مجموعة من الأجهزة الظاهرية التفاعلية، التي يشاركها فريق الذكاء الاصطناعي/علوم البيانات بأكمله، للمستخدمين طريقة لتسجيل الدخول إلى مثيل DSVM متوفر، بدلا من وجود مثيل مخصص لكل مجموعة من المستخدمين. يوفر هذا النهج توفرا أفضل واستخداما أكثر فعالية للموارد.
استخدم تقنية مجموعات مقياس الجهاز الظاهري Azure لإنشاء تجمع أجهزة ظاهرية تفاعلي. استخدم مجموعات المقياس لإنشاء وإدارة مجموعة من الأجهزة الظاهرية المتطابقة والمتوازنة التحميل والتحجيم التلقائي.
يسجل المستخدم الدخول إلى عنوان IP أو DNS للتجمع الرئيسي. توجه مجموعة التحجيم الجلسة تلقائيًا إلى DSVM متوفر في مجموعة المقياس. نظرا لأن المستخدمين يريدون بيئة متسقة ومألوفة، بغض النظر عن الجهاز الظاهري الذي يسجلون الدخول إليه، تقوم جميع مثيلات الجهاز الظاهري في مجموعة المقياس بتحميل محرك أقراص شبكة مشترك. يشبه ذلك مشاركة ملفات Azure أو مشاركة نظام ملفات الشبكة (NFS). عادة ما يتم الاحتفاظ بمساحة العمل المشتركة للمستخدم على مخزن الملفات المشتركة المثبت على كل مثيل من المثيلات.
يمكنك العثور على نموذج قالب Azure Resource Manager الذي ينشئ مجموعة مقياس مع مثيلات Ubuntu DSVM على GitHub. يستضيف نفس الموقع عينة من ملف المعلمة لقالب Azure Resource Manager.
حدد قيم ملف المعلمة في Azure CLI، لإنشاء مجموعة المقياس من قالب Azure Resource Manager:
az group create --name [[NAME OF RESOURCE GROUP]] --location [[ Data center. For eg: "West US 2"]
az deployment group create --resource-group [[NAME OF RESOURCE GROUP ABOVE]] --template-uri https://raw.githubusercontent.com/Azure/DataScienceVM/master/Scripts/CreateDSVM/Ubuntu/dsvm-vmss-cluster.json --parameters @[[PARAMETER JSON FILE]]
تفترض هذه الأوامر أن لديك:
- نسخة من ملف المعلمة مع القيم المحددة لمثيل مجموعة المقياس
- عدد مثيلات الجهاز الظاهري
- المؤشرات إلى مشاركة ملفات Azure
- بيانات الاعتماد لحساب التخزين الذي سيتم تحميله على كل جهاز ظاهري
تشير الأوامر محليا إلى ملف المعلمة. يمكنك أيضا تمرير المعلمات المضمنة، أو المطالبة بها في البرنامج النصي الخاص بك.
يمكن القالب السابق SSH ومنفذ JupyterHub من مقياس الواجهة الأمامية المعين إلى تجمع الواجهة الخلفية لـUbuntu DSVMs. كمستخدم، يمكنك تسجيل الدخول إلى الجهاز الظاهري على Secure Shell (SSH) أو على JupyterHub بالطريقة العادية. نظرًا لأنه يمكن توسيع نطاق مثيلات الجهاز الظاهري بشكل ديناميكي، يجب حفظ أي حالة في مشاركة ملفات Azure المثبتة. يمكنك استخدام نفس الأسلوب لإنشاء مجموعة من Windows DSVMs.
البرنامج النصي الذي يقوم بتحميل مشاركة ملفات Azure متاح أيضًا في مستودع Azure DataScienceVM في GitHub. يقوم البرنامج النصي بتحميل مشاركة ملفات Azure في نقطة التحميل المحددة في ملف المعلمة. ينشئ البرنامج النصي أيضًا ارتباطات ناعمة إلى محرك الأقراص المحمل في الدليل الرئيسي للمستخدم الأولي. دليل دفتر ملاحظات خاص بالمستخدم في مشاركة ملفات Azure مرتبط بشكل مبدئي بالدليل $HOME/notebooks/remote ، بحيث يمكن للمستخدمين الوصول إلى دفاتر ملاحظات Jupyter وتشغيلها وحفظها. يمكنك استخدام نفس الاصطلاح عند إنشاء المزيد من المستخدمين على الجهاز الظاهري، لتوجيه مساحة عمل Jupyter لكل مستخدم إلى مشاركة ملفات Azure.
تدعم مجموعات مقياس الجهاز الظاهري التحجيم التلقائي. يمكنك تعيين قواعد حول وقت إنشاء المزيد من المثيلات ومتى يتم تقليص المثيلات. على سبيل المثال، يمكنك تقليص المثيلات إلى الصفر لتوفير تكاليف استخدام الأجهزة السحابية عندما لا يتم استخدام الأجهزة الظاهرية على الإطلاق. توفر صفحات وثائق مجموعات مقياس الجهاز الظاهري خطوات مفصلة للتحجيم التلقائي.