في هذا الدليل، ستجد الأسئلة المتداولة حول Azure Synapse Analytics.
عام
كيف يمكنني استخدام أدوار RBAC لتأمين مساحة العمل لدي؟
يقدم Azure Synapse عددًا من الأدوار والنطاقات لتعيينها عليها والتي ستعمل على تبسيط تأمين مساحة العمل لديك.
أدوار Synapse RBAC:
- مسؤول Synapse
- مسؤول Synapse SQL
- مسؤول Synapse Spark
- مساهم في Synapse
- ناشر الأدوات في Synapse
- مستخدم الأدوات في Synapse
- مشغّل حساب في Synapse
- مستخدم بيانات اعتماد في Synapse
- مدير بيانات الارتباط التشعبي في Synapse
- مستخدم في Synapse
لتأمين مساحة عمل Synapse لديك، بادر بتعيين أدوار RBAC إلى نطاقات RBAC المذكورة:
- مساحات العمل
- تجمعات Spark
- أوقات تشغيل التكامل
- الخدمات المرتبطة
- بيانات الاعتماد
بالإضافة إلى ذلك، مع تجمعات SQL المخصصة، يكون لديك جميع ميزات الأمان التي تعرفها وتحبها.
كيف أتحكم في مجموعات SQL المخصصة، ومجموعات SQL بدون خادم، ومجموعات Spark بدون خادم؟
وكنقطة بداية، يعمل Azure Synapse مع تحليل التكلفة المضمن وتنبيهات التكلفة المتوفرة على مستوى اشتراك Azure.
مجموعات SQL المخصصة - إنك تتمتع برؤية مباشرة للتكلفة والتحكم في التكلفة؛ لأنك تنشئ وتحدد أحجام مجموعات SQL المخصصة. يمكنك التحكم بشكل أكبر في تحديد المستخدمين الذين يمكنهم إنشاء تجمعات SQL المخصصة أو توسيع نطاقها باستخدام أدوار Azure RBAC.
تجمعات SQL بلا خادم - لديك عناصر تحكم في المراقبة وإدارة التكلفة تتيح لك وضع حد أقصى للإنفاق على المستوى اليومي والأسبوعي والشهري. راجع إدارة التكلفة لتجمعات SQL بلا خادم للحصول على مزيد من المعلومات.
تجمعات Spark بلا خادم - يمكنك تقييد مَن يمكنه إنشاء تجمعات Spark بأدوار Synapse RBAC.
هل ستدعم مساحة العمل Synapse تنظيم مجلد الكائنات والدقة في GA؟
تدعم مساحات عمل Synapse المجلدات المعرفة من جانب المستخدم.
هل يمكنني ربط أكثر من مساحة عمل Power BI بمساحة عمل Azure Synapse واحدة؟
نعم، اعتبارًا من 10 يونيو 2021، يتيح لك Synapse Studio الآن إضافة أكثر من مساحة عمل Power BI واحدة إلى مساحة عمل Azure Synapse واحدة.
هل الارتباط التشعبي في Azure Synapse قاعدة بيانات Cosmos متاح بشكل عام؟
يُدعم Azure Synapse Analytics حاليًا ارتباط Azure Synapse من Azure Cosmos DB إلى Synapse Apache Spark وتجمع SQL بلا خادم. ارتباط Azure Synapse ببرنامجApache Spark هو التوفر العام. الارتباط التشعبي في Synapse لتجمع SQL بلا خادم قيد الإصدار الأولي. لمزيد من المعلومات، راجع Azure Synapse Link ل Azure Cosmos DB.
هل Azure Synapse Link ل SQL متاح بشكل عام؟
يتوفر Azure Synapse Link ل SQL بشكل عام لكل من SQL Server 2022 وقاعدة بيانات Azure SQL. لمزيد من المعلومات، راجع .الارتباط التشعبي في Azure Synapse لبرنامج SQL؟.
هل مساحة عمل Azure Synapse تدعم CI/CD؟
نعم! ستوجد جميع عناصر المسار، ودفاتر الملاحظات، والبرامج النصية لـ SQL، وتعريفات وظائف Spark في Git. سيتم تخزين جميع تعريفات المجموعات في Git كقوالب Azure Resource Manager (ARM). سيجري إدارة كائنات تجمع SQL المخصصة (المخططات والجداول وطرق العرض وما إلى ذلك) من خلال مشاريع قواعد البيانات مع دعم CI/CD. لمزيد من المعلومات، راجع دليل التكامل المستمر والقرص المضغوط هذا.
ما أوجه الاختلاف الوظيفية بين مجموعات SQL المخصصة والمجموعات التي لا تحتوي على خادم؟
تختلف القدرات والمتطلبات بين نوعي التجمعات. تتضمن الاختلافات عناصر قاعدة البيانات وقدرات لغة الاستعلام والأمان والأدوات والوصول إلى البيانات وتنسيق البيانات. للمقارنة التفصيلية لتجمعات SQL والتجمعات بلا خادم، يرجى زيارة مقارنة المجوعات. للحصول على أفضل الممارسات عند استخدام أي نوع من التجمعات، يرجى عرض أفضل الممارسات لتجمع SQL المخصصوأفضل الممارسات لتجمع SQL بلا خادم.
ما هي جداول Delta، ولماذا يجب استخدامها؟
يعتمد Lakehouse على تنسيقات بيانات الوصول المباشر المفتوح، مثل Apache Parquet. لديها دعم من الدرجة الأولى للتعلم الآلي وعلوم البيانات. جدول Delta هو طريقة عرض للبيانات المضمنة في Delta Lake، والتي تدعم معظم الخيارات التي يوفرها Apache Spark DataFrame قراءة وكتابة واجهات برمجة التطبيقات. يمكن أن تساعد Lakehouses في مواجهة التحديات الرئيسية مع مستودعات البيانات، مثل ثبات البيانات والموثوقية والتكلفة الإجمالية للملكية وتأمين البيانات. في جداول Delta، تتوفر تحسينات مثل الضغط التلقائي وخطط الاستعلام التكيفية. للحصول على دليل مفصل إلى Delta Lake، يرجى زيارة دليل Delta Lake.
ما هو الضغط التلقائي؟
الضغط التلقائي هو أحد الميزتين التكميليتين للتحسين التلقائي لجداول Delta. بعد نجاح الكتابة إلى جدول، يمكن أن يؤدي الضغط التلقائي إلى ضغط الملفات بشكل أكبر للأقسام التي تحتوي على أكبر عدد من الملفات الصغيرة. يوصى بالاشتراك في الضغط التلقائي لحالات استخدام الدفق حيث تكون إضافة دقائق من زمن الانتقال مقبولة وعندما لا يكون لديك مكالمات تحسين منتظمة على الجدول. لمزيد من المعلومات حول التحسين التلقائي والضغط التلقائي، راجع دليل التحسين التلقائي هذا.
التدفقات
كيف يمكنني التأكد من معرفتي ببيانات الاعتماد المستخدمة لتشغيل المسار؟
يجري تنفيذ كل نشاط في مسار Synapse باستخدام بيانات الاعتماد المحددة داخل الخدمة المرتبطة.
هل يجري دعم SSIS IRs في تكامل Synapse؟
ليس في الوقت الحالي.
كيف تختلف مسارات Azure Data Factory وخطوط أنابيب Azure Synapse؟
بعض الأمثلة على الاختلافات هي دعم المعلمات العمومية ومراقبة وظائف Spark لتدفق البيانات ومشاركة Integration Runtime. لمزيد من المعلومات، راجع هذا المستند لتكامل البيانات - Synapse مقابل ADF.
كيف يمكنني ترحيل المسارات الحالية من Azure Data Factory إلى مساحة عمل Azure Synapse؟
في هذا الوقت، يجب عليك إعادة إنشاء مسارات Azure Data Factory والعناصر ذات الصلة يدويًّا عن طريق تصدير JSON من المسار الأصلي واستيراده إلى مساحة عمل Synapse لديك.
كيف أعمل استخدام تعريف وظيفة Apache Spark؟
اطلع على دليل البدء السريع هذا.
هل يمكنني استدعاء دفاتر الملاحظات من مسارات ADF؟
هناك خياران لحالة الاستخدام هذه. أحد الخيارات هو الاحتفاظ بالبنية الأساسية لبرنامج ربط العمليات التجارية في ADF، وسيتعين عليك الالتفاف في نشاط ويب. لمزيد من المعلومات حول هذا الخيار، يرجى عرض دليل نشاط ويب هذا. الخيار الآخر هو ترحيل المسارات إلى Synapse. لمزيد من المعلومات حول الخيار الثاني، راجع نموذج رمز الترحيل هذا.
Apache Spark
ما أوجه الاختلاف بين Apache Spark for Synapse وApache Spark؟
Apache Spark ل Synapse هو Apache Spark مع دعم إضافي للتكامل مع الخدمات الأخرى (معرف Microsoft Entra وAzureML وما إلى ذلك) والمكتبات الإضافية (mssparktuils و Hummingbird) وتكوينات الأداء المضبطة مسبقا.
أي حمل عمل قيد التشغيل حاليًّا على Apache Spark سيجري تشغيله على Apache Spark لـ Azure Synapse دون تغيير.
ما إصدارات Spark المتوفرة؟
اعتبارا من سبتمبر 2023، يدعم Azure Synapse Apache Spark بشكل كامل Spark 3.3. للحصول على قائمة كاملة بالمكونات الأساسية والإصدار المدعوم حاليًّا، راجع دعم إصدارات Apache Spark.
هل هناك ما يعادل DButils في Azure Synapse Spark؟
نعم، يوفر Azure Synapse Apache Spark مكتبة mssparkutils. للحصول على الوثائق الكاملة للمرفق، راجع مقدمة عن أدوات Microsoft Spark.
كيف يمكنني تعيين معلمات الجلسة في Apache Spark؟
لتعيين معلمات الجلسة، استخدم %%configure magic المتاح. يلزم إعادة تشغيل الجلسة حتى تصبح المعلمات سارية المفعول.
كيف يمكنني تعيين معلمات مستوى المجموعة في مجموعات Spark بدون خادم؟
لتعيين معلمات مستوى المجموعة، يمكنك توفير ملف spark.conf لمجموعات Spark. وهذه المجموعات ستولي اهتمامًا بالمعلمات السابقة في ملف التكوين.
هل يمكنني تشغيل مجموعة Spark متعددة المستخدمين في Azure Synapse Analytics؟
يوفر Azure Synapse محركات مصممة لهذا الغرض لحالات استخدام محددة. Apache Spark لـ Synapse مصمم كخدمة عمل وليس كنموذج نظام المجموعة. هناك سيناريوهان حيث يطلب الأشخاص نموذج نظام المجموعة متعدد المستخدمين.
السيناريو #1: يصل العديد من المستخدمين إلى نظام مجموعة لخدمة البيانات لأغراض BI.
أسهل طريقة لإنجاز هذه المهمة هي تجهيز البيانات مع Spark ومن ثم الاستفادة من قدرات خدمة SQL Synapse إلى أنها يمكن أن تربط Power BI بمجموعات البيانات.
السيناريو #2: وجود عدة مطورين على نظام مجموعة واحد لتوفير المال.
ولتحقيق هذا السيناريو، يجب أن تمنح كل مطور تجمع Spark بلا خادم عُين لاستخدام عدد صغير من موارد Spark. نظرًا لأن تجمعات Spark بلا خادم لا تكلف أي شيء، حتى يتم استخدامها بشكل نشط يقلل التكلفة عند وجود مطورين متعددين. تشترك المجموعات في البيانات الوصفية (جداول Spark) حتى تتمكن من العمل بسهولة مع بعضها.
كيف يمكنني تضمين المكتبات وإدارتها وتثبيتها؟
يمكنك تثبيت الحزم الخارجية عبر ملف requirements.txt أثناء إنشاء مجموعة Spark أو من مساحة عمل synapse أو من مدخل Azure. راجع إدارة مكتبات Apache Spark في Azure Synapse Analytics.
ما هي الأدوات المتوفرة لي على Synapse Spark؟
يوفر MSSparkUtils على Synapse Spark مجموعة متنوعة من الأدوات المساعدة لتحسين تجربتك وتسهيل التكامل مع الأدوات والخدمات الأخرى. العمل مع أنظمة الملفات، والحصول على متغيرات البيئة، وتسلسل دفاتر الملاحظات معًا، والعمل مع الأسرار بأقل قدر من الخطوات اليدوية. للحصول على الوثائق الكاملة، يرجى زيارة أدوات Microsoft Spark.
تجمعات SQL المخصصة
ما الفرق بين تجمعات SQL المخصصة (SQL DW) وتجمعات SQL المخصصة في مساحات عمل Azure Synapse؟
تجمعات SQL المخصصة (المعروف سابقا باسم SQL DW) هي منصة Azure النظام الأساسي كخدمة (PaaS) منصة تخزين بيانات المؤسسة. يمكنك الاستعلام عن تجمعات SQL المخصصة الموجودة (المعروف سابقا بـ SQL DW) وإنشاء تجمعات SQL مخصصة جديدة في مساحة عمل Azure Synapse. لا تنطبق جميع ميزات مجمع SQL المخصص في مساحات عمل Azure Synapse على تجمع SQL مخصص مستقل (المعروف سابقًا باسم SQL DW) والعكس صحيح. لمزيد من المعلومات، راجع ما الفرق بين تجمعات SQL المخصصة لـ Azure Synapse (المعروف سابقا بـ SQL DW) وتجمعات SQL المخصصة في مساحة عمل Azure Synapse Analytics؟. لتمكين ميزات مساحة Azure Synapse العمل لتجمع SQL مخصص موجود (سابقًا SQL DW)، راجع طريقة تمكين مساحة عمل لتجمع SQL المخصص (المعروف سابقًا باسم SQL DW).
ما أوجه الاختلاف الوظيفية بين مجموعات SQL المخصصة والمجموعات التي لا تحتوي على خادم؟
يمكنك العثور على قائمة كاملة من أوجه الاختلاف في الاختلافات ميزة T-SQL في SQL Synapse.
الآن بعد أن أصبح Azure Synapse هو GA، كيف يمكنني نقل مجموعات SQL المخصصة التي كانت مستقلة سابقًا إلى Azure Synapse؟
لا يوجد ضرورة "للتحرك" أو "الترحيل". يمكنك اختيار تمكين ميزات مساحة العمل الجديدة في مجموعاتك الحالية. إذا قمت بذلك، فلا توجد تغييرات فاصلة، وبدلاً من ذلك ستتمكن من استخدام ميزات جديدة مثل Synapse Studio وSpark وتجمعات SQL بلا خادم. لا تنطبق جميع ميزات تجمع SQL المخصص في مساحات عمل Azure Synapse على تجمع SQL المخصص (والمعروف سابقًا باسم SQL DW)، والعكس صحيح. لتمكين ميزات مساحة العمل لتجمع SQL مخصص موجود (سابقًا SQL DW)، راجع طريقة تمكين مساحة عمل لتجمع SQL المخصص (المعروف سابقًا باسم SQL DW).
ما هو النشر الافتراضي لمجموعات SQL المخصصة الآن؟
بشكل افتراضي، سيتم نشر جميع مجموعات SQL المخصصة الجديدة في مساحة العمل؛ ومع ذلك، إذا كنت بحاجة إلى ذلك، فلا يزال بإمكانك إنشاء مجموعة SQL مخصصة (المعروفة سابقًا باسم SQL DW) في عامل شكل مستقل.
أمن الشبكة
كيف يمكنني تأمين الوصول إلى مساحة عمل Azure Synapse؟
باستخدام شبكة ظاهرية مدارةأو بدونها، يمكنك الاتصال بمساحة العمل من الشبكات العامة. للمزيد من المعلومات، راجع إعدادات الاتصال. يمكن التحكم في الوصول من الشبكات العامة عن طريق تمكين ميزة الوصول إلى الشبكة العامة أو جدار حماية مساحة العمل. بدلًا من ذلك، يمكنك الاتصال بمساحة العمل باستخدام نقطة نهاية خاصة مدارةوارتباط خاص. لا تتمتع مساحات عمل Synapse التي لا تحتوي على الشبكة الظاهرية المُدارة من Azure Synapse Analytics بالقدرة على الاتصال عبر نقاط النهاية الخاصة المُدارة.