إدارة دفاتر الملاحظات

يمكنك إدارة دفاتر الملاحظات باستخدام واجهة المستخدم وCLI واستدعاء API مساحة العمل. تركز هذه المقالة على تنفيذ مهام دفتر الملاحظات باستخدام واجهة المستخدم. للحصول على أساليب أخرى، راجع Databricks CLI و API مساحة العمل 2.0.

إنشاء دفتر ملاحظات

استخدم الزر إنشاء

أسهل طريقة لإنشاء دفتر ملاحظات جديد في المجلد الافتراضي هي استخدام الزر إنشاء :

  1. انقر فوق Create Iconإنشاء في الشريط الجانبي وحدد دفتر الملاحظات من القائمة. يظهر مربع الحوار إنشاء دفتر ملاحظات.
  2. أدخل اسما وحدد اللغة الافتراضية لدفتر الملاحظات.
  3. إذا كان هناك مجموعات قيد التشغيل، يعرض المنسدلة الكتلة . حدد الكتلة التي تريد إرفاق دفتر الملاحظات بها.
  4. انقر فوق Create.

إنشاء دفتر ملاحظات في أي مجلد

يمكنك إنشاء دفتر ملاحظات جديد في أي مجلد (على سبيل المثال، في المجلد المشترك ) باتباع الخطوات التالية:

  1. في الشريط الجانبي، انقر فوق Workspace Iconمساحة العمل. قم بتنفيذ أحد الإجراءات الآتية:
    • بجانب أي مجلد، انقر فوق على Menu Dropdown الجانب الأيمن من النص وحدد إنشاء Menu Dropdown دفتر ملاحظات.

      Create notebook

    • في مساحة العمل أو مجلد مستخدم، انقر فوق Down Caretوحدد إنشاء Down Caret دفتر ملاحظات.

  2. اتبع الخطوات من 2 إلى 4 في استخدام الزر إنشاء.

فتح دفتر ملاحظات

في مساحة العمل الخاصة بك، انقر فوق Notebook Icon. يعرض مسار دفتر الملاحظات عند تمرير الماوس فوق عنوان دفتر الملاحظات.

حذف دفتر ملاحظات

راجع عمليات كائنات المجلداتومساحة العمل للحصول على معلومات حول كيفية الوصول إلى قائمة مساحة العمل وحذف دفاتر الملاحظات أو العناصر الأخرى في مساحة العمل.

نسخ مسار دفتر الملاحظات

لنسخ مسار ملف دفتر ملاحظات دون فتح دفتر الملاحظات، انقر بزر الماوس الأيمن فوق اسم دفتر الملاحظات أو انقر فوق Menu Dropdown إلى يمين اسم دفتر الملاحظات وحدد نسخ مسار الملف.

Copy notebook path

إعادة تسمية دفتر ملاحظات

لتغيير عنوان دفتر ملاحظات مفتوح، انقر فوق العنوان والتحرير المضمن أو انقر فوق إعادة تسمية الملف.

التحكم في الوصول إلى دفتر ملاحظات

إذا كان حساب Azure Databricks يحتوي على Azure Databricks Premium Plan، يمكنك استخدام التحكم في الوصول إلى مساحة العمل للتحكم في من لديه حق الوصول إلى دفتر ملاحظات.

تنسيقات خارجية دفتر ملاحظات

يدعم Azure Databricks عدة تنسيقات خارجية دفتر الملاحظات:

  • ملف المصدر: ملف يحتوي على عبارات التعليمات البرمجية المصدر فقط مع ملحق .scalaأو .sql.pyأو أو .r.
  • HTML: دفتر ملاحظات Azure Databricks مع الملحق .html.
  • أرشيف DBC: أرشيف ستريك البيانات.
  • دفتر IPython: دفتر Jupyter مع الملحق .
  • RMarkdown: مستند علامة R مع الملحق .

في هذا القسم:

استيراد دفتر ملاحظات

يمكنك استيراد دفتر ملاحظات خارجي من عنوان URL أو ملف. يمكنك أيضا استيراد أرشيف ZIP لدفاتر الملاحظات التي تم تصديرها بشكل مجمع من مساحة عمل Azure Databricks.

  1. انقر فوق Workspace Iconمساحة العمل في الشريط الجانبي. قم بتنفيذ أحد الإجراءات الآتية:

    • بجانب أي مجلد، انقر فوق على Menu Dropdown الجانب الأيسر من النص وحدد استيراد.

    • في مساحة العمل أو مجلد مستخدم، انقر فوق Down Caret ثم حدد استيراد.

      Import notebook

  2. حدد عنوان URL أو استعرض للوصول إلى ملف يحتوي على تنسيق خارجي معتمد أو أرشيف ZIP لدفاتر الملاحظات التي تم تصديرها من مساحة عمل Azure Databricks.

  3. انقر فوق Import.

    • إذا اخترت دفتر ملاحظات واحد، يتم تصديره في المجلد الحالي.
    • إذا اخترت أرشيف DBC أو ZIP، يتم إعادة إنشاء بنية المجلد الخاص به في المجلد الحالي ويتم استيراد كل دفتر ملاحظات.

تصدير دفتر ملاحظات

في شريط أدوات دفتر الملاحظات، حدد تصدير الملف وتنسيق.

ملاحظة

عند تصدير دفتر ملاحظات ك HTML أو دفتر ملاحظات IPython أو أرشيف (DBC) ، ولم تقم بمسح النتائج، يتم تضمين نتائج تشغيل دفتر الملاحظات.

تصدير كافة دفاتر الملاحظات في مجلد

ملاحظة

عند تصدير دفتر ملاحظات ك HTML أو دفتر ملاحظات IPython أو أرشيف (DBC) ، ولم تقم بمسح النتائج، يتم تضمين نتائج تشغيل دفتر الملاحظات.

لتصدير كافة المجلدات في مجلد مساحة عمل كأرشفة ZIP:

  1. انقر فوق Workspace Iconمساحة العمل في الشريط الجانبي. قم بتنفيذ أحد الإجراءات الآتية:
    • بجانب أي مجلد، انقر فوق على Menu Dropdown الجانب الأيسر من النص وحدد تصدير.
    • في مساحة العمل أو مجلد مستخدم، انقر فوق Down Caret ثم حدد تصدير.
  2. حدد تنسيق التصدير:
    • أرشيف DBC: تصدير أرشيف Databricks، وهو تنسيق ثنائي يتضمن بيانات تعريف ونتائج أوامر دفتر الملاحظات.
    • Source File: تصدير أرشيف ZIP من الملفات المصدر دفتر الملاحظات، والتي يمكن استيرادها إلى مساحة عمل Azure Databricks، أو استخدامها في خط أنابيب CI/CD، أو عرضها كملفات مصدر في اللغة الافتراضية لكل دفتر ملاحظات. لا يتم تضمين نتائج أوامر دفتر الملاحظات.
    • أرشيف HTML: تصدير أرشيف ZIP لملفات HTML. يمكن استيراد ملف HTML الخاص بكل دفتر ملاحظات إلى مساحة عمل Azure Databricks أو عرضه على أنه HTML. يتم تضمين نتائج أوامر دفتر الملاحظات.

دفاتر الملاحظات والتجمعات

قبل أن تتمكن من القيام بأي عمل في دفتر ملاحظات، يجب أولا إرفاق دفتر الملاحظات إلى كتلة. يصف هذا القسم كيفية إرفاق دفاتر الملاحظات وفصلها من وإلى المجموعات وما يحدث خلف الكواليس عند تنفيذ هذه الإجراءات.

في هذا القسم:

سياقات التنفيذ

عند إرفاق دفتر ملاحظات إلى كتلة، يقوم Azure Databricks بإنشاء سياق تنفيذ. يحتوي سياق تنفيذ على حالة بيئة REPL لكل لغة برمجة معتمدة: Python و R و Scala و SQL. عند تشغيل خلية في دفتر ملاحظات، يتم إرسال الأمر إلى بيئة REPL اللغة المناسبة وتشغيلها.

يمكنك أيضا استخدام REST 1.2 API لإنشاء سياق تنفيذ وإرسال أمر لتشغيل في سياق التنفيذ. وبالمثل، يتم إرسال الأمر إلى بيئة REPL اللغة وتشغيلها.

يحتوي نظام المجموعة على الحد الأقصى لعدد سياقات التنفيذ (145). بمجرد أن يصل عدد سياقات التنفيذ إلى هذه العتبة، لا يمكنك إرفاق دفتر ملاحظات إلى الكتلة أو إنشاء سياق تنفيذ جديد.

سياقات التنفيذ الخاملة

يعتبر سياق تنفيذ خاملا عند تنفيذ آخر إكمال حدث تجاوز عتبة خمول مجموعة. آخر تنفيذ مكتمل هو آخر مرة يكمل فيها دفتر الملاحظات تنفيذ الأوامر. عتبة الخمول مقدار الوقت الذي يجب أن يمر بين التنفيذ المكتمل الأخير وأي محاولة لفصل دفتر الملاحظات تلقائيا. عتبة الخمول الافتراضية هي 24 ساعة.

عندما تصل كتلة الحد الأقصى للسياق، يزيل Azure Databricks (evicts) سياقات التنفيذ الخاملة (بدءا من الأقل استخداما مؤخرا) حسب الحاجة. حتى عند إزالة سياق دفتر الملاحظات باستخدام السياق لا يزال مرفقا الكتلة ويظهر في قائمة دفتر الملاحظات الكتلة. تعتبر دفاتر الملاحظات المتدفقة قيد التشغيل النشط، ولا يتم طرد سياقها أبدا حتى يتم إيقاف تنفيذها. إذا تم طرد سياق خامل، تعرض واجهة المستخدم رسالة تشير إلى أن دفتر الملاحظات الذي يستخدم السياق قد تم فصله بسبب الخمول.

Notebook context evicted

إذا حاولت إرفاق دفتر ملاحظات إلى الكتلة التي تحتوي على الحد الأقصى من سياقات التنفيذ ولا توجد أية سياقات خاملة (أو إذا تم تعطيل الإخلاء التلقائي) ، يعرض واجهة المستخدم رسالة تفيد بأنه تم الوصول إلى الحد الأقصى الحالي السياقات التنفيذ ودفتر الملاحظات ستبقى في حالة منفصلة.

Notebook detached

إذا قمت بتفرع عملية سياق تنفيذ خاملة لا يزال يعتبر خاملا بمجرد تنفيذ الطلب الذي تشعب العملية بإرجاع. لا ينصح بالتفرع عمليات منفصلة مع Spark.

تكوين سياق الإخلاء التلقائي

يتم تمكين الإخلاء التلقائي بشكل افتراضي. لتعطيل الإخلاء التلقائي للكتلة، قم بتعيين خاصية Spark.

إرفاق دفتر ملاحظات إلى كتلة

لإرفاق دفتر ملاحظات إلى كتلة تحتاج إلى إذن يمكن إرفاق إلى مستوى الكتلة.

هام

طالما يتم إرفاق دفتر ملاحظات إلى كتلة، أي مستخدم لديه إذن "يمكن تشغيل" على دفتر الملاحظات لديه إذن ضمني للوصول إلى الكتلة.

لإرفاق دفتر ملاحظات إلى كتلة:

  1. في شريط أدوات دفتر الملاحظات، انقر فوق Notebook Cluster IconفصلCluster Dropdown.
  2. من القائمة المنسدلة، حدد كتلة.

هام

دفتر ملاحظات مرفق يحتوي على متغيرات Apache Spark التالية المعرفة.

الفصل اسم المتغير
SparkContext sc
SQLContext/HiveContext sqlContext
SparkSession (سبارك 2.x) spark

لا تقم بإنشاء SparkSessionأو SparkContextأو SQLContext. سيؤدي القيام بذلك إلى سلوك غير متناسق.

تحديد إصدار وقت التشغيل ل Spark و Databricks

لتحديد إصدار Spark من الكتلة المرفقة دفتر الملاحظات الخاص بك، قم بتشغيل:

spark.version

لتحديد إصدار Databricks وقت التشغيل من الكتلة التي يتم إرفاق دفتر الملاحظات الخاص بك إلى تشغيل:

spark.conf.get("spark.databricks.clusterUsageTags.sparkVersion")

ملاحظة

كل من هذه sparkVersion العلامة و spark_version الخاصية المطلوبة من قبل نقاط النهاية في sparkVersion و spark_version الرجوع إلى إصدار وقت التشغيل Databricks، وليس إصدار Spark.

فصل دفتر ملاحظات من كتلة

  1. في شريط أدوات دفتر الملاحظات، انقر فوق Notebook Cluster Iconمرفق Cluster Dropdown.

  2. حدد فصل.

    Detach notebook

يمكنك أيضا فصل دفاتر الملاحظات من كتلة باستخدام علامة التبويب دفاتر الملاحظات في صفحة تفاصيل الكتلة.

عند فصل دفتر ملاحظات من كتلة، تتم إزالة سياق التنفيذ ومسح كافة قيم المتغيرات المحسوبة من دفتر الملاحظات.

تلميح

توصي Azure Databricks بفصل دفاتر الملاحظات غير المستخدمة من نظام مجموعة. هذا يحرر مساحة الذاكرة على برنامج التشغيل.

عرض كافة دفاتر الملاحظات المرفقة بمجموعة

تعرض علامة التبويب دفاتر الملاحظات في صفحة تفاصيل الكتلة كافة دفاتر الملاحظات المرفقة بمجموعة. تعرض علامة التبويب أيضا حالة كل دفتر ملاحظات مرفق، إلى جانب آخر مرة تم فيها تشغيل أمر من دفتر الملاحظات.

Cluster details attached notebooks

جدولة دفتر ملاحظات

لجدولة مهمة دفتر ملاحظات لتشغيلها بشكل دوري:

  1. في دفتر الملاحظات، انقر على Notebook schedule button أعلى اليمين. إذا لم توجد مهام لهذا دفتر الملاحظات، يظهر مربع الحوار جدولة.

    Schedule notebook dialog

    إذا كانت المهام موجودة بالفعل لدفتر الملاحظات، يظهر مربع الحوار قائمة المهام. لعرض مربع الحوار جدولة، انقر فوق إضافة جدول.

    Job list dialog

  2. في مربع الحوار جدولة، أدخل اسم الوظيفة بشكل اختياري. الاسم الافتراضي هو اسم دفتر الملاحظات.

  3. حدد يدوي لتشغيل المهمة فقط عند تشغيلها يدويا، أو مجدولة لتحديد جدول زمني لتشغيل المهمة. إذا قمت بتحديد جدولة، فاستخدم القائمة المنسدلة لتحديد التردد والوقت والمنطقة الزمنية.

  4. في القائمة المنسدلة الكتلة حدد الكتلة لتشغيل المهمة.

    إذا كان لديك أذونات السماح إنشاء الكتلة ، بشكل افتراضي يتم تشغيل المهمة على كتلة مهمة جديدة. لتحرير تكوين الكتلة المهمة الافتراضية، انقر فوق تحرير على يمين الحقل لعرض مربع الحوار تكوين الكتلة.

    إذا لم يكن لديك أذونات السماح إنشاء الكتلة ، بشكل افتراضي يتم تشغيل المهمة على الكتلة المرفق دفتر الملاحظات. إذا لم يتم إرفاق دفتر الملاحظات إلى كتلة، يجب تحديد كتلة من القائمة المنسدلة الكتلة .

  5. بشكل اختياري، أدخل أي معلمات لتمريرها إلى المهمة. انقر فوق إضافة وحدد مفتاح وقيمة كل معلمة. تعيين المعلمات قيمة عنصر واجهة مستخدم دفتر الملاحظات المحدد بواسطة مفتاح المعلمة. استخدم متغيرات معلمة المهمة لتمرير مجموعة محدودة من القيم الحيوية كجزء من قيمة معلمة.

  6. بشكل اختياري، حدد عناوين البريد الإلكتروني لتلقي تنبيهات البريد الإلكتروني على أحداث العمل. راجع التنبيهات.

  7. انقر فوق Submit.

إدارة مهام دفتر الملاحظات المجدولة

لعرض المهام المقترنة بهذا دفتر الملاحظات، انقر فوق الزر جدولة . يظهر مربع الحوار قائمة مهام، تظهر كافة المهام المعرفة حاليا لهذا دفتر الملاحظات. لإدارة الوظائف، انقر Jobs Vertical Ellipsis على يمين الوظيفة في القائمة.

Job list menu

من هذه القائمة، يمكنك تحرير مهمة مجدولة أو استنساخها أو عرضها أو إيقافها مؤقتا أو استئنافها أو حذفها.

عند استنساخ مهمة مجدولة، يتم إنشاء مهمة جديدة بنفس معلمات الأصل. تظهر المهمة الجديدة في القائمة باسم "استنساخ ".

تعتمد كيفية تحرير الوظيفة على تعقيد جدول الوظيفة. أما مربع الحوار جدولة أو لوحة تفاصيل المهمة يعرض، مما يسمح لك بتحرير الجدول، الكتلة، المعلمات، وهلم جرا.

توزيع دفاتر الملاحظات

للسماح لك بتوزيع دفاتر Azure Databricks بسهولة، يدعم Azure Databricks أرشيف Databricks، وهو حزمة يمكن أن تحتوي على مجلد من دفاتر الملاحظات أو دفتر ملاحظات واحد. أرشيف Databricks هو ملف JAR مع بيانات تعريف إضافية ويحتوي على الملحق .dbc. توجد دفاتر الملاحظات الموجودة في الأرشيف بتنسيق داخلي ل Azure Databricks.

استيراد أرشيف

  1. انقر فوق Down Caret مجلد أو دفتر ملاحظات أو Menu Dropdown إلى يمينه وحدد استيراد.
  2. اختر ملف أو عنوان URL.
  3. انتقل إلى أرشيف Databricks أو أسقطه في منطقة الإسقاط.
  4. انقر فوق Import. يتم استيراد الأرشيف إلى كريكيت البيانات Azure. إذا كان الأرشيف يحتوي على مجلد، يعيد Azure Databricks إنشاء هذا المجلد.

تصدير أرشيف

انقر فوق Down Caret مجلد أو دفتر ملاحظات أو Menu Dropdown إلى يمينه وحدد تصدير Down Caret أرشيف DBC. يقوم Azure Databricks بتحميل ملف باسم <[folder|notebook]-name>.dbc.