Databricks Utilities with Databricks الاتصال ل Python

إشعار

تتناول هذه المقالة الاتصال Databricks لوقت تشغيل Databricks 13.0 والإصدارات الأحدث.

توضح هذه المقالة كيفية استخدام Databricks Utilities مع databricks الاتصال ل Python. تمكنك الاتصال Databricks من توصيل IDEs الشائعة وخوادم دفاتر الملاحظات والتطبيقات المخصصة إلى مجموعات Azure Databricks. راجع ما هو Databricks الاتصال؟. للحصول على إصدار Scala من هذه المقالة، راجع Databricks Utilities with Databricks الاتصال ل Scala.

إشعار

قبل البدء في استخدام الاتصال Databricks، يجب عليك إعداد عميل الاتصال Databricks.

يمكنك استخدام الاتصال Databricks للوصول إلى Databricks Utilities كما يلي:

• WorkspaceClient استخدم متغير الفئة dbutils للوصول إلى Databricks Utilities. WorkspaceClient تنتمي الفئة إلى Databricks SDK ل Python ويتم تضمينها في Databricks الاتصال.
• استخدم dbutils.fs للوصول إلى الأداة المساعدة Databricks Utilities fs .
• استخدم dbutils.secrets للوصول إلى الأداة المساعدة Databricks Utilities secrets .
• لا تتوفر وظائف أدوات Databricks المساعدة بخلاف الأدوات المساعدة السابقة من خلال dbutils.

تلميح

يمكنك أيضا استخدام Databricks SDK المضمنة ل Python للوصول إلى أي واجهة برمجة تطبيقات Databricks REST متوفرة، وليس فقط واجهات برمجة تطبيقات Databricks Utilities السابقة. راجع databricks-sdk على PyPI.

لتهيئة WorkspaceClient، يجب توفير معلومات كافية لمصادقة Databricks SDK مع مساحة العمل. على سبيل المثال، يمكنك:

• قم بتكوين تعليمات برمجية مضمنة لعنون URL لمساحة العمل ورمز الوصول المميز مباشرة داخل التعليمات البرمجية الخاصة بك، ثم قم بتهيئة WorkspaceClient كما يلي. على الرغم من أن هذا الخيار مدعوم، إلا أن Databricks لا يوصي بهذا الخيار، لأنه يمكن أن يعرض معلومات حساسة، مثل رموز الوصول المميزة، إذا تم إيداع التعليمات البرمجية الخاصة بك في التحكم بالإصدار أو تمت مشاركتها بطريقة أخرى:

  from databricks.sdk import WorkspaceClient
  
  w = WorkspaceClient(host  = f"https://{retrieve_workspace_instance_name()}",
                      token = retrieve_token())
  

• قم بإنشاء أو تحديد ملف تعريف تكوين يحتوي على الحقول host و token، ثم قم بتعريف على WorkspaceClient النحو التالي:

  from databricks.sdk import WorkspaceClient
  
  w = WorkspaceClient(profile = "<profile-name>")
  

• قم بتعيين متغيرات DATABRICKS_HOST البيئة وبنفس DATABRICKS_TOKEN الطريقة التي قمت بتعيينها الاتصال Databricks، ثم تهيئتها WorkspaceClient كما يلي:

  from databricks.sdk import WorkspaceClient
  
  w = WorkspaceClient()
  

لا يتعرف Databricks SDK ل Python على SPARK_REMOTE متغير البيئة ل Databricks الاتصال.

للحصول على خيارات مصادقة Azure Databricks إضافية ل Databricks SDK ل Python، بالإضافة إلى كيفية التهيئة AccountClient داخل Databricks SDKs للوصول إلى واجهات برمجة تطبيقات Databricks REST المتوفرة على مستوى الحساب بدلا من مستوى مساحة العمل، راجع databricks-sdk على PyPI.

يوضح المثال التالي كيفية استخدام Databricks SDK ل Python لأتمتة Databricks Utilities. ينشئ هذا المثال ملفا باسم zzz_hello.txt في مسار وحدة تخزين كتالوج Unity داخل مساحة العمل، ويقرأ البيانات من الملف، ثم يحذف الملف. يفترض هذا المثال أن متغيرات DATABRICKS_HOST البيئة وقد تم تعيينها DATABRICKS_TOKEN بالفعل:

from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

file_path = "/Volumes/main/default/my-volume/zzz_hello.txt"
file_data = "Hello, Databricks!"
fs = w.dbutils.fs

fs.put(
  file      = file_path,
  contents  = file_data,
  overwrite = True
)

print(fs.head(file_path))

fs.rm(file_path)

راجع أيضا التفاعل مع dbutils في Databricks SDK لوثائق Python.