نقل البيانات لمجموعات البيانات الكبيرة ذات النطاق الترددي المتوسط إلى العالي للشبكة
تقدم هذه المقالة نظرة عامة على حلول نقل البيانات عندما يكون لديك نطاق ترددي متوسط إلى مرتفع للشبكة في بيئتك وتخطط لنقل مجموعات بيانات كبيرة. تُبين المقالة أيضًا خيارات نقل البيانات الموصى بها ومصفوفة القدرات الرئيسية ذات الصلة لهذا السيناريو.
لفهم نظرة عامة على جميع خيارات نقل البيانات المتاحة، انتقل إلى اختيار حل نقل بيانات Azure.
وصف السيناريو
تشير مجموعات البيانات الكبيرة إلى أحجام البيانات بترتيب TBs إلى PBs. يشير عرض النطاق الترددي للشبكة المتوسط إلى العالي إلى 100ميجا بت في الثانية إلى 10 جيجابت في الثانية.
الخيارات الموصى بها
تعتمد الخيارات الموصى بها في هذا السيناريو على ما إذا كان لديك عرض نطاق شبكة متوسط أو عرض نطاق شبكة عالٍ.
عرض نطاق الشبكة المتوسط (100ميجا بت في الثانية - 1 جيجابت في الثانية)
مع عرض النطاق الترددي للشبكة المعتدل، تحتاج إلى عرض الوقت لنقل البيانات عبر الشبكة.
استخدم الجدول التالي لتقدير الوقت وبناءً على ذلك، اختر بين النقل دون اتصال أو عبر نقل الشبكة. يُبين الجدول الوقت المتوقع لنقل بيانات الشبكة، لمختلف عروض النطاق الترددي المتاحة للشبكة (بافتراض استخدام بنسبة 90%).
إذا كان متوقعًا أن يكون نقل الشبكة بطيئًا جدًا، فإنه يجب عليك استخدام جهاز مادي. الخيارات الموصى بها في هذه الحالة هي أجهزة النقل غير المتصلة من فئة صندوق بيانات Azure أو Azure Import/Export باستخدام الأقراص خاصتك.
- فئة صندوق بيانات Azure للتحويلات دون اتصال بالإنترنت – استخدم الأجهزة من أجهزة صندوق بيانات Microsoft لنقل كميات كبيرة من البيانات إلى Azure عندما تكون محدودًا بالوقت أو توفر الشبكة أو التكاليف. انسخ البيانات محلياً باستخدام أدوات مثل Robocopy. بناءً على حجم البيانات المطلوب نقلها، يمكنك الاختيار من بين Data Box Disk أو Data Box أوData Box Heavy.
- Azure Import/Export – استخدم خدمة Azure Import/Export عن طريق شحن محركات الأقراص لاستيراد كميات كبيرة من البيانات بأمان إلى وحدة تخزين Azure Blob وAzure Files. يمكن أيضًا استخدام هذه الخدمة لنقل البيانات من تخزين كائن ثنائي كبير الحجم من Azure إلى محركات الأقراص والشحن إلى مواقعك المحلية.
إذا كان من المتوقع أن يكون نقل الشبكة مقبولاً، فإنه يمكنك استخدام أي من الأدوات التالية المفصلة في النطاق الترددي للشبكة العالية .
نطاق ترددي عالي للشبكة (1 جيجابت في الثانية - 100 جيجابت في الثانية)
إذا كان عرض النطاق الترددي للشبكة المتاح مرتفعًا، فاستخدم إحدى الأدوات التالية.
- AzCopy - استخدم أداة سطر الأوامر هذه لنسخ البيانات بسهولة من وإلى كائنات ثنائية كبيرة الحجم من Azure وملفات وجدول بأداء مثالي. يدعم AzCopy التزامن والتوازي والقدرة على استئناف عمليات النسخ عند انقطاعها.
- عدد تطوير البرامج/واجهات برمجة تطبيقات Azure Storage REST - عند إنشاء تطبيق، يمكنك تطوير التطبيق مقابل واجهات برمجة تطبيقات Azure Storage REST واستخدام مجموعات عدد تطوير البرامج Azure المتوفرة بلغات متعددة.
- مجموعة Azure Data Box لعمليات النقل عبر الإنترنت - تُعد Azure Stack Edge وData Box Gateway من أجهزة الشبكة عبر الإنترنت التي يمكنها نقل البيانات إلى Azure وخارجه. استخدم جهاز Azure Stack Edge المادي عندما تكون هناك حاجة متزامنة للعرض المستمر والمعالجة المسبقة للبيانات قبل التحميل. بوابة صندوق البيانات هي نسخة افتراضية من الجهاز لها نفس إمكانيات نقل البيانات. في كل حالة، تتم إدارة نقل البيانات بواسطة الجهاز.
- Azure Data Factory – يجب استخدام Data Factory لتوسيع نطاق عملية النقل، وإذا كانت هناك حاجة إلى إمكانات التنسيق والمراقبة على مستوى المؤسسة. استخدم Data Factory لنقل الملفات بانتظام بين العديد من خدمات Azure المحلية أو مزيج من الاثنين. مع Data Factory، يمكنك إنشاء وجدولة سير العمل القائم على البيانات (يسمى خطوط الأنابيب) التي تستوعب البيانات من مخازن البيانات المتباينة ونقل البيانات تلقائيًا وتحويل البيانات.
مقارنة القدرات الرئيسية
وتلخص الجداول التالية الاختلافات في القدرات الرئيسية للخيارات الموصى بها.
عرض نطاق الشبكة المتوسط
في حالة استخدام نقل البيانات دون اتصال بالإنترنت، استخدم الجدول التالي لفهم الاختلافات في القدرات الرئيسية.
قرص صندوق البيانات | Data Box | Data Box Heavy | Import/Export | |
---|---|---|---|---|
حجم البيانات | حتى 35 تيرابايت | حتى 80 تيرابايت لكل جهاز | حتى 800 تيرابايت لكل جهاز | المتغير |
نوع البيانات | Azure Blobs ملفات Azure* |
Azure Blobs ملفات Azure |
Azure Blobs ملفات Azure |
Azure Blobs ملفات Azure |
عامل التصميم | 5 محركات أقراص SSD لكل طلب | 1 X 50-lbs. جهاز بحجم سطح المكتب لكل طلب | 1 X ~500-lbs. جهاز كبير لكل طلب | حتى 10 HDDs/SSDs لكل طلب |
وقت الإعداد الأولي | منخفض (15 دقيقة) |
منخفض إلى معتدل (<30 دقيقة) |
متوسط (1-2 ساعة) |
معتدل إلى صعب (المتغير) |
إرسال بيانات إلى Azure | نعم | نعم | نعم | نعم |
تصدير البيانات من Azure | لا | لا | لا | نعم |
التشفير | AES 128-bit | AES 256-bit | AES 256-bit | AES 128-bit |
الأجهزة | مقدم من Microsoft | مقدم من Microsoft | مقدم من Microsoft | موفر من قبل العميل |
واجهة الشبكة | USB 3.1/SATA | RJ 45, SFP+ | RJ45, QSFP+ | SATA II/SATA III |
تكامل الشركاء | بعض | درجة عالية | درجة عالية | بعض |
Shipping | مُدار بواسطة Microsoft | مُدار بواسطة Microsoft | مُدار بواسطة Microsoft | \- يديره العميل |
استخدمه عند نقل البيانات | ضمن الحدود التجارية | ضمن الحدود التجارية | ضمن الحدود التجارية | عبر حدود المواقع الجغرافية، على سبيل المثال من الولايات المتحدة إلى الاتحاد الأوروبي |
التسعير | التسعير | التسعير | التسعير | التسعير |
* لا يدعم Data Box Disk مشاركات الملفات الكبيرة ولا يحتفظ ببيانات تعريف الملف
في حالة استخدام نقل البيانات عبر الإنترنت، استخدم الجدول في القسم التالي لعرض النطاق الترددي العالي للشبكة.
عرض النطاق الترددي العالي للشبكة
أدوات AzCopy، Azure PowerShell. Azure CLI |
Azure Storage REST APIs, SDKs | Data Box Gateway أو Azure Stack Edge | Azure Data Factory | |
---|---|---|---|---|
نوع البيانات | كائنات ثنائية كبيرة الحجم من Azure، ملفات Azure، جداول Azure | كائنات ثنائية كبيرة الحجم من Azure، ملفات Azure، جداول Azure | كائنات ثنائية كبيرة الحجم من Azure, ملفات Azure | يدعم أكثر من 70 موصل بيانات لمخازن البيانات وتنسيقاتها |
عامل التصميم | أدوات سطر الأوامر | واجهة برمجية | توفر Microsoft افتراضي أو جهاز مادي |
الخدمة في مدخل Microsoft Azure |
الإنشاء الأولي لمرة واحدة | سهل | متوسط | من السهل (<30 دقيقة) إلى المتوسط (1-2 ساعة) | جامع |
المعالجة المسبقة للبيانات | لا | لا | نعم (مع حساب الحافة) | نعم |
النقل من السُّحب الأخرى | لا | لا | لا | نعم |
نوع المستخدم | محترف أو مطور تكنولوجيا المعلومات | مطور | محترف تكنولوجيا المعلومات | محترف تكنولوجيا المعلومات |
التسعير | تُطبق رسوم مجانية على خروج البيانات | تُطبق رسوم مجانية على خروج البيانات | تسعير Azure Stack Edge تسعير Data Box Gateway |
التسعير |
الخطوات التالية
فهم كيفية:
تعرف على كيفية نقل البيانات باستخدام Azure Data Factory.
استخدم واجهات برمجة تطبيقات REST لنقل البيانات: