وظائف API 2.0

تتيح لك واجهة برمجة تطبيقات الوظائف إنشاء الوظائف وتحريرها وحذفها. الحد الأقصى المسموح به لحجم طلب إلى API مهام هو 10MB. راجع إنشاء كتلة التزامن عالية لدليل كيفية على API هذا.

للحصول على تفاصيل حول التحديثات إلى API مهام التي تدعم تنسيق مهام متعددة مع مهام Azure Databricks، راجع تحديثات API وظائف.

ملاحظة

إذا تلقيت خطأ 500 مستوى عند إجراء طلبات API وظائف، يوصي Databricks إعادة محاولة طلبات لمدة تصل إلى 10 دقيقة (مع فاصل زمني 30 ثانية الحد الأدنى بين retries).

هام

للوصول إلى واجهات برمجة التطبيقات Rest Databricks، يجب عليك المصادقة.

خلق

نقطة النهاية أسلوب HTTP
2.0/jobs/create POST

إنشاء وظيفة جديدة.

مثال

ينشئ هذا المثال مهمة تشغيل مهمة JAR في الساعة 10:15 مساء كل ليلة.

طلب

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/create \
--data @create-job.json \
| jq .

create-job.json:

{
  "name": "Nightly model training",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "timeout_seconds": 3600,
  "max_retries": 1,
  "schedule": {
    "quartz_cron_expression": "0 15 22 * * ?",
    "timezone_id": "America/Los_Angeles"
  },
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • محتويات create-job.json الحقول المناسبة للحل.

يستخدم هذا المثال ملف .netrc و jq.

الاستجابة

{
  "job_id": 1
}

بنية الطلب

هام

  • عند تشغيل وظيفة على مجموعة مهام جديدة، يتم التعامل مع المهمة كعبء عمل "الحوسبة الوظائف" (الآلي) تخضع لتسعير "الحوسبة الوظائف".
  • عند تشغيل مهمة على كتلة كافة الأغراض موجودة، يتم التعامل معها كعبء عمل compute (تفاعلي) All-Purpose تخضع لتسعير الحوسبة All-Purpose.
اسم الحقل النوع الوصف
existing_cluster_id أو new_cluster STRING أو STRING إذا existing_cluster_id معرف كتلة موجودة سيتم استخدامها لكافة تشغيل هذه المهمة. عند تشغيل مهام على كتلة موجودة قد تحتاج إلى إعادة تشغيل الكتلة يدويا إذا توقف عن الاستجابة. نقترح تشغيل الوظائف على مجموعات جديدة للحصول على مزيد من الموثوقية.

إذا new_cluster، وصفا للكتلة التي سيتم إنشاؤها لكل تشغيل.

إذا كان تحديد PipelineTask، يمكن أن يكون هذا الحقل فارغا.
notebook_task أو spark_jar_task أو spark_python_task أو spark_submit_task أو pipeline_task نوتيبوكتاسك أو سباركجارتاسك أو سباركبيثونتاسك أو سباركسوبميتاسك أو خط أنابيب إذا notebook_task، يشير إلى أن هذه المهمة يجب تشغيل دفتر ملاحظات. قد لا يتم تحديد هذا الحقل بالاقتران مع spark_jar_task.

إذا spark_jar_task، يشير إلى أن هذه المهمة يجب تشغيل JAR.

إذا spark_python_task، يشير إلى أن هذه المهمة يجب تشغيل ملف بيثون.

إذا spark_submit_task، يشير إلى أن هذه المهمة يجب أن يتم تشغيل بواسطة البرنامج النصي إرسال spark.

إذا pipeline_task، يشير إلى أن هذه المهمة يجب تشغيل خط أنابيب جداول مباشر دلتا.
الاسم STRING اسم اختياري للوظيفة. القيمة الافتراضية هي Untitled.
المصادقة صفيف من المكتبة قائمة اختيارية من المكتبات التي سيتم تثبيتها على الكتلة التي سيتم تنفيذ المهمة. القيمة الافتراضية قائمة فارغة.
email_notifications التنويرات الوظيفية مجموعة اختيارية من عناوين البريد الإلكتروني التي يتم إعلامها عند بدء تشغيل هذه المهمة وإتمامها وعند حذف هذه المهمة. السلوك الافتراضي هو عدم إرسال أي رسائل البريد الإلكتروني.
timeout_seconds INT32 مهلة اختيارية مطبقة على كل تشغيل لهذه المهمة. السلوك الافتراضي هو أن يكون لديك مهلة.
max_retries INT32 عدد أقصى اختياري من المرات لإعادة محاولة تشغيل غير ناجح. يعتبر تشغيل غير ناجحة إذا كان يكمل مع FAILED result_state أو
INTERNAL_ERROR
life_cycle_state. تعني القيمة -1 إعادة المحاولة إلى أجل غير مسمى وتعني القيمة 0 عدم إعادة المحاولة أبدا. السلوك الافتراضي هو عدم إعادة المحاولة.
min_retry_interval_millis INT32 فاصل زمني أدنى اختياري بالمللي ثانية بين بداية التشغيل الفاشل وتشغيل إعادة المحاولة اللاحقة. السلوك الافتراضي هو أن يتم إعادة محاولة تشغيل غير ناجحة مباشرة.
retry_on_timeout BOOL نهج اختياري لتحديد ما إذا كان يجب إعادة محاولة وظيفة عند المهلة. السلوك الافتراضي هو عدم إعادة المحاولة في المهلة.
جدول زمني كرونش دولي جدول دوري اختياري لهذه المهمة. السلوك الافتراضي هو أن يتم تشغيل المهمة عند تشغيلها بالنقر فوق تشغيل الآن في واجهة المستخدم مهام أو إرسال طلب API إلى .
max_concurrent_runs INT32 الحد الأقصى الاختياري المسموح به لعدد التشغيل المتزامن للوظيفة.

تعيين هذه القيمة إذا كنت تريد أن تكون قادرا على تنفيذ عدة عمليات تشغيل نفس المهمة في نفس الوقت. وهذا مفيد على سبيل المثال إذا قمت بتشغيل المهمة على جدول متكرر وتريد السماح لأشواط متتالية بالتراكب مع بعضها البعض، أو إذا كنت تريد تشغيل عدة أشواط تختلف حسب معلمات الإدخال الخاصة بها.

يؤثر هذا الإعداد على التشغيلات الجديدة فقط. على سبيل المثال، افترض أن التزامن المهمة هو 4 وهناك 4 تشغيل نشط المتزامنة. ثم تعيين التزامن إلى 3 لن يقتل أي من أشواط نشطة. ومع ذلك، من ذلك الحين فصاعدا، يتم تخطي أشواط جديدة ما لم يكن هناك أقل من 3 أشواط نشطة.

لا يمكن أن تتجاوز هذه القيمة 1000. يؤدي تعيين هذه القيمة إلى 0 إلى تخطي كافة الأشواط الجديدة. السلوك الافتراضي هو السماح بتشغيل المتزامنة 1 فقط.

بنية الاستجابة

اسم الحقل النوع الوصف
job_id INT64 المعرف القانوني للوظيفة التي تم إنشاؤها حديثا.

قائمة

نقطة النهاية أسلوب HTTP
2.0/jobs/list GET

سرد كافة الوظائف.

مثال

طلب

curl --netrc --request GET \
https://<databricks-instance>/api/2.0/jobs/list \
| jq .

استبدال <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .

يستخدم هذا المثال ملف .netrc و jq.

الاستجابة

{
  "jobs": [
    {
      "job_id": 1,
      "settings": {
        "name": "Nightly model training",
        "new_cluster": {
          "spark_version": "7.3.x-scala2.12",
          "node_type_id": "Standard_D3_v2",
          "num_workers": 10
        },
        "libraries": [
          {
            "jar": "dbfs:/my-jar.jar"
          },
          {
            "maven": {
              "coordinates": "org.jsoup:jsoup:1.7.2"
            }
          }
        ],
        "timeout_seconds": 100000000,
        "max_retries": 1,
        "schedule": {
          "quartz_cron_expression": "0 15 22 * * ?",
          "timezone_id": "America/Los_Angeles",
          "pause_status": "UNPAUSED"
        },
        "spark_jar_task": {
          "main_class_name": "com.databricks.ComputeModels"
        }
      },
      "created_time": 1457570074236
    }
  ]
}

بنية الاستجابة

اسم الحقل النوع الوصف
الوظائف⁧ صفيفة من الوظيفة قائمة الوظائف.

حذف

نقطة النهاية أسلوب HTTP
2.0/jobs/delete POST

حذف وظيفة وإرسال بريد إلكتروني إلى العناوين المحددة في JobSettings.email_notifications . لا يحدث أي إجراء إذا تمت إزالة المهمة بالفعل. بعد إزالة المهمة، لا يمكن رؤية تفاصيلها ولا محفوظات تشغيلها في واجهة المستخدم للوظائف أو واجهة برمجة التطبيقات. ويضمن إلغاء الوظيفة عند الانتهاء من هذا الطلب. ومع ذلك، قد لا يزال تشغيل نشطة قبل تلقي هذا الطلب نشطة. سيتم إنهاؤها بشكل غير متزامن.

مثال

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/delete \
--data '{ "job_id": <job-id> }'

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • <job-id> مع معرف الوظيفة، على سبيل 123 المثال.

يستخدم هذا المثال ملف .netrc.

بنية الطلب

اسم الحقل النوع الوصف
job_id INT64 المعرف الكنسي للوظيفة التي يجب حذفها. هذه الحقل مطلوب.

حصل

نقطة النهاية أسلوب HTTP
2.0/jobs/get GET

استرداد معلومات حول مهمة واحدة.

مثال

طلب

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/get?job_id=<job-id>' \
| jq .

أو:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/get \
--data job_id=<job-id> \
| jq .

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • <job-id> مع معرف الوظيفة، على سبيل 123 المثال.

يستخدم هذا المثال ملف .netrc و jq.

الاستجابة

{
  "job_id": 1,
  "settings": {
    "name": "Nightly model training",
    "new_cluster": {
      "spark_version": "7.3.x-scala2.12",
      "node_type_id": "Standard_D3_v2",
      "num_workers": 10
    },
    "libraries": [
      {
        "jar": "dbfs:/my-jar.jar"
      },
      {
        "maven": {
          "coordinates": "org.jsoup:jsoup:1.7.2"
        }
      }
    ],
    "timeout_seconds": 100000000,
    "max_retries": 1,
    "schedule": {
      "quartz_cron_expression": "0 15 22 * * ?",
      "timezone_id": "America/Los_Angeles",
      "pause_status": "UNPAUSED"
    },
    "spark_jar_task": {
      "main_class_name": "com.databricks.ComputeModels"
    }
  },
  "created_time": 1457570074236
}

بنية الطلب

اسم الحقل النوع الوصف
job_id INT64 المعرف القانوني للوظيفة لاسترداد معلومات حول. هذه الحقل مطلوب.

بنية الاستجابة

اسم الحقل النوع الوصف
job_id INT64 المعرف القانوني لهذه المهمة.
creator_user_name STRING اسم المستخدم المنشئ. لن يتم تضمين هذا الحقل في الاستجابة إذا تم حذف المستخدم.
الإعدادات تعيينات الوظائف الإعدادات لهذه الوظيفة وجميع أشواطها. يمكن تحديث هذه الإعدادات باستخدام نقاط النهاية إعادة تعيين أو تحديث.
created_time INT64 الوقت الذي تم فيه إنشاء هذه المهمة بالمللي ثانية (ميلي ثانية منذ 1/1/1970 UTC).

اعاده تعيين

نقطة النهاية أسلوب HTTP
2.0/jobs/reset POST

الكتابة فوق كافة الإعدادات لمهمة معينة. استخدم نقطة النهاية تحديث لتحديث إعدادات المهمة جزئيا.

مثال

يجعل هذا الطلب المثال المهمة 2 متطابقة مع المهمة 1 في مثال الإنشاء.

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/reset \
--data @reset-job.json \
| jq .

reset-job.json:

{
  "job_id": 2,
  "new_settings": {
    "name": "Nightly model training",
    "new_cluster": {
      "spark_version": "7.3.x-scala2.12",
      "node_type_id": "Standard_D3_v2",
      "num_workers": 10
    },
    "libraries": [
      {
        "jar": "dbfs:/my-jar.jar"
      },
      {
        "maven": {
          "coordinates": "org.jsoup:jsoup:1.7.2"
        }
      }
    ],
    "timeout_seconds": 100000000,
    "max_retries": 1,
    "schedule": {
      "quartz_cron_expression": "0 15 22 * * ?",
      "timezone_id": "America/Los_Angeles",
      "pause_status": "UNPAUSED"
    },
    "spark_jar_task": {
      "main_class_name": "com.databricks.ComputeModels"
    }
  }
}

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • محتويات reset-job.json الحقول المناسبة للحل.

يستخدم هذا المثال ملف .netrc و jq.

بنية الطلب

اسم الحقل النوع الوصف
job_id INT64 المعرف القانوني للوظيفة لإعادة تعيينها. هذه الحقل مطلوب.
new_settings تعيينات الوظائف الإعدادات الجديدة للوظيفة. هذه الإعدادات تماما استبدال الإعدادات القديمة.

يتم تطبيق التغييرات على الحقل JobSettings.timeout_seconds على التشغيل النشط. يتم تطبيق التغييرات على الحقول الأخرى على التشغيلات المستقبلية فقط.

تحديث

نقطة النهاية أسلوب HTTP
2.0/jobs/update POST

إضافة إعدادات معينة لوظيفة موجودة أو تغييرها أو إزالتها. استخدم نقطة النهاية إعادة تعيين الكتابة فوق كافة إعدادات المهمة.

مثال

هذا الطلب المثال يزيل المكتبات ويضيف إعدادات إعلام البريد الإلكتروني إلى المهمة 1 المعرفة في مثال الإنشاء.

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/update \
--data @update-job.json \
| jq .

update-job.json:

{
  "job_id": 1,
  "new_settings": {
    "existing_cluster_id": "1201-my-cluster",
    "email_notifications": {
      "on_start": [ "someone@example.com" ],
      "on_success": [],
      "on_failure": []
    }
  },
  "fields_to_remove": ["libraries"]
}

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • محتويات update-job.json الحقول المناسبة للحل.

يستخدم هذا المثال ملف .netrc و jq.

بنية الطلب

اسم الحقل النوع الوصف
job_id INT64 المعرف القانوني للوظيفة التي يجب تحديثها. هذه الحقل مطلوب.
new_settings تعيينات الوظائف الإعدادات الجديدة للوظيفة. يتم استبدال أي حقول المستوى الأعلى المحددة في new_settings تماما. تحديث الحقول المتداخلة جزئيا غير معتمد.

يتم تطبيق التغييرات على الحقل JobSettings.timeout_seconds على التشغيل النشط. يتم تطبيق التغييرات على الحقول الأخرى على التشغيلات المستقبلية فقط.
fields_to_remove صفيفة من STRING إزالة حقول المستوى الأعلى في إعدادات المهمة. إزالة الحقول المتداخلة غير معتمدة. هذا الحقل اختياري.

تشغيل الآن

هام

  • يمكنك إنشاء وظائف فقط في مساحة عمل هندسة علوم البيانات & أو مساحة عمل التعلم الآلي.
  • تقتصر مساحة العمل على 1000 تشغيل مهمة متزامنة. 429 Too Many Requestsيتم إرجاع استجابة عند طلب تشغيل لا يمكن بدء التشغيل فورا.
  • يقتصر عدد الوظائف التي يمكن أن تنشئها مساحة العمل في الساعة على 5000 (بما في ذلك "التشغيل الآن" و "تشغيل الإرسال"). يؤثر هذا الحد أيضا على المهام التي تم إنشاؤها بواسطة مهام سير عمل REST API ودفتر الملاحظات.
نقطة النهاية أسلوب HTTP
2.0/jobs/run-now POST

تشغيل مهمة الآن ثم إرجاع run_id تشغيل المشغلة.

تلميح

إذا قمت باستدعاء إنشاء مع تشغيل الآن، يمكنك استخدام نقطة النهاية إرسال تشغيل بدلا من ذلك، والذي يسمح لك بإرسال حمل العمل الخاص بك مباشرة دون الحاجة إلى إنشاء وظيفة.

مثال

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/run-now \
--data @run-job.json \
| jq .

run-job.json:

طلب مثال لمهمة دفتر ملاحظات:

{
  "job_id": 1,
  "notebook_params": {
    "name": "john doe",
    "age": "35"
  }
}

طلب مثال لوظيفة JAR:

{
  "job_id": 2,
  "jar_params": [ "john doe", "35" ]
}

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • محتويات run-job.json الحقول المناسبة للحل.

يستخدم هذا المثال ملف .netrc و jq.

بنية الطلب

اسم الحقل النوع الوصف
job_id INT64
jar_params صفيفة من STRING قائمة المعلمات للوظائف ذات مهام JAR، على سبيل "jar_params": ["john doe", "35"] المثال. سيتم استخدام المعلمات لاستدعاء الدالة الرئيسية للفئة الرئيسية المحددة في مهمة Spark JAR. إذا لم يتم تحديد على run-now ، فإنه سيتم الافتراضي إلى قائمة فارغة. لا يمكن تحديد jar_params بالاقتران مع notebook_params. تمثيل JSON لهذا الحقل {"jar_params":["john doe","35"]} (أي) لا يمكن أن يتجاوز 10,000 بايت.
notebook_params خريطة بارامبير خريطة من المفاتيح إلى قيم الوظائف التي لها مهمة دفتر ملاحظات، على سبيل المثال.
"notebook_params": {"name": "john doe", "age": "35"}. يتم تمرير الخريطة إلى دفتر الملاحظات ويمكن الوصول إليها من خلال الدالة dbutils.widgets.get.

إذا لم يتم تحديد على run-now ، يستخدم التشغيل المشغل المعلمات الأساسية للوظيفة.

لا يمكنك تحديد notebook_params بالاقتران مع jar_params.

تمثيل JSON لهذا المجال (أي.
{"notebook_params":{"name":"john doe","age":"35"}}) لا يمكن أن يتجاوز 10,000 بايت.
python_params صفيفة من STRING قائمة المعلمات للوظائف مع مهام Python، على سبيل "python_params": ["john doe", "35"] المثال. سيتم تمرير المعلمات إلى ملف Python كمعلمات سطر الأوامر. إذا تم تحديدها على run-now ، فإنها ستكتب فوق المعلمات المحددة في إعداد المهمة. تمثيل JSON لهذا الحقل {"python_params":["john doe","35"]} (أي) لا يمكن أن يتجاوز 10,000 بايت.
spark_submit_params صفيفة من STRING قائمة المعلمات للوظائف ذات المهمة التي يتم إرسالها من خلال Spark، على سبيل المثال.
"spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]. سيتم تمرير المعلمات إلى البرنامج النصي إرسال الشرارة كمعلمات سطر الأوامر. إذا تم تحديدها على run-now ، فإنها ستكتب فوق المعلمات المحددة في إعداد المهمة. تمثيل JSON لهذا الحقل لا يمكن أن يتجاوز 10,000 بايت.

بنية الاستجابة

اسم الحقل النوع الوصف
run_id INT64 المعرف الفريد عالميا للتشغيل الذي تم تشغيله حديثا.
number_in_job INT64 رقم تسلسل هذا التشغيل بين كافة أشواط المهمة.

تشغيل الإرسال

هام

  • يمكنك إنشاء وظائف فقط في مساحة عمل هندسة علوم البيانات & أو مساحة عمل التعلم الآلي.
  • تقتصر مساحة العمل على 1000 تشغيل مهمة متزامنة. 429 Too Many Requestsيتم إرجاع استجابة عند طلب تشغيل لا يمكن بدء التشغيل فورا.
  • يقتصر عدد الوظائف التي يمكن أن تنشئها مساحة العمل في الساعة على 5000 (بما في ذلك "التشغيل الآن" و "تشغيل الإرسال"). يؤثر هذا الحد أيضا على المهام التي تم إنشاؤها بواسطة مهام سير عمل REST API ودفتر الملاحظات.
نقطة النهاية أسلوب HTTP
2.0/jobs/runs/submit POST

إرسال تشغيل لمرة واحدة. تتيح نقطة النهاية هذه إرسال حمل عمل مباشرة دون إنشاء وظيفة. لا يتم عرض التشغيلات المرسلة باستخدام نقطة النهاية هذه في واجهة المستخدم. استخدم jobs/runs/get API للتحقق من حالة التشغيل بعد إرسال المهمة.

مثال

طلب

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/submit \
--data @submit-job.json \
| jq .

submit-job.json:

{
  "run_name": "my spark task",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • محتويات submit-job.json الحقول المناسبة للحل.

يستخدم هذا المثال ملف .netrc و jq.

الاستجابة

{
  "run_id": 123
}

بنية الطلب

هام

  • عند تشغيل وظيفة على مجموعة مهام جديدة، يتم التعامل مع المهمة كعبء عمل "الحوسبة الوظائف" (الآلي) تخضع لتسعير "الحوسبة الوظائف".
  • عند تشغيل مهمة على كتلة كافة الأغراض موجودة، يتم التعامل معها كعبء عمل compute (تفاعلي) All-Purpose تخضع لتسعير الحوسبة All-Purpose.
اسم الحقل النوع الوصف
existing_cluster_id أو new_cluster STRING أو STRING إذا existing_cluster_id معرف كتلة موجودة سيتم استخدامها لكافة تشغيل هذه المهمة. عند تشغيل مهام على كتلة موجودة قد تحتاج إلى إعادة تشغيل الكتلة يدويا إذا توقف عن الاستجابة. نقترح تشغيل الوظائف على مجموعات جديدة للحصول على مزيد من الموثوقية.

إذا new_cluster، وصفا للكتلة التي سيتم إنشاؤها لكل تشغيل.

إذا كان تحديد PipelineTask، ثم يمكن أن يكون هذا الحقل فارغا.
notebook_task أو spark_jar_task أو spark_python_task أو spark_submit_task أو pipeline_task نوتيبوكتاسك أو سباركجارتاسك أو سباركبيثونتاسك أو سباركسوبميتاسك أو خط أنابيب إذا notebook_task، يشير إلى أن هذه المهمة يجب تشغيل دفتر ملاحظات. قد لا يتم تحديد هذا الحقل بالاقتران مع spark_jar_task.

إذا spark_jar_task، يشير إلى أن هذه المهمة يجب تشغيل JAR.

إذا spark_python_task، يشير إلى أن هذه المهمة يجب تشغيل ملف بيثون.

إذا spark_submit_task، يشير إلى أن هذه المهمة يجب أن يتم تشغيل بواسطة البرنامج النصي إرسال spark.

إذا pipeline_task، يشير إلى أن هذه المهمة يجب تشغيل خط أنابيب جداول مباشر دلتا.
run_name STRING اسم اختياري للتشغيل. القيمة الافتراضية هي Untitled.
المصادقة صفيف من المكتبة قائمة اختيارية من المكتبات التي سيتم تثبيتها على الكتلة التي سيتم تنفيذ المهمة. القيمة الافتراضية قائمة فارغة.
timeout_seconds INT32 مهلة اختيارية مطبقة على كل تشغيل لهذه المهمة. السلوك الافتراضي هو أن يكون لديك مهلة.
idempotency_token STRING رمز مميز اختياري يمكن استخدامه لضمان وظيفة idempotency تشغيل طلبات. إذا كان تشغيل نشط مع الرمز المميز المتوفر موجود بالفعل، لن يقوم الطلب بإنشاء تشغيل جديد، ولكنه سيعود معرف التشغيل الموجود بدلا من ذلك.

إذا قمت بتحديد الرمز المميز idempotency عند الفشل يمكنك إعادة المحاولة حتى ينجح الطلب. يضمن Azure Databricks أن يتم تشغيل واحد بالضبط مع رمز idempotency هذا.

يجب أن يكون هذا الرمز المميز على الأكثر 64 حرفا.

لمزيد من المعلومات، راجع كيفية ضمان عدم ملاءمة الوظائف.

بنية الاستجابة

اسم الحقل النوع الوصف
run_id INT64 المعرف الكنسي للتشغيل الذي تم إرساله حديثا.

تشغيل قائمة

نقطة النهاية أسلوب HTTP
2.0/jobs/runs/list GET

يتم تشغيل القائمة بترتيب تنازلي حسب وقت البدء.

ملاحظة

تتم إزالة الأشواط تلقائيا بعد 60 يوما. إذا كنت تريد الرجوع إليها بعد 60 يوما، يجب حفظ نتائج التشغيل القديمة قبل انتهاء صلاحيتها. للتصدير باستخدام واجهة المستخدم، راجع تصدير نتائج تشغيل المهمة. للتصدير باستخدام API الوظائف، راجع تشغيل التصدير.

مثال

طلب

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/list?job_id=<job-id>&active_only=<true-false>&offset=<offset>&limit=<limit>&run_type=<run-type>' \
| jq .

أو:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/list \
--data 'job_id=<job-id>&active_only=<true-false>&offset=<offset>&limit=<limit>&run_type=<run-type>' \
| jq .

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • <job-id> مع معرف الوظيفة، على سبيل 123 المثال.
  • <true-false> مع true أو false .
  • <offset>offsetبالقيمة.
  • <limit>limitبالقيمة.
  • <run-type>run_typeبالقيمة.

يستخدم هذا المثال ملف .netrc و jq.

الاستجابة

{
  "runs": [
    {
      "job_id": 1,
      "run_id": 452,
      "number_in_job": 5,
      "state": {
        "life_cycle_state": "RUNNING",
        "state_message": "Performing action"
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/donald@duck.com/my-notebook"
        }
      },
      "cluster_spec": {
        "existing_cluster_id": "1201-my-cluster"
      },
      "cluster_instance": {
        "cluster_id": "1201-my-cluster",
        "spark_context_id": "1102398-spark-context-id"
      },
      "overriding_parameters": {
        "jar_params": ["param1", "param2"]
      },
      "start_time": 1457570074236,
      "end_time": 1457570075149,
      "setup_duration": 259754,
      "execution_duration": 3589020,
      "cleanup_duration": 31038,
      "trigger": "PERIODIC"
    }
  ],
  "has_more": true
}

بنية الطلب

اسم الحقل النوع الوصف
active_only أو completed_only BOOL أو BOOL إذا كان active_only true هو ، يتم تضمين فقط أشواط نشطة في النتائج؛ وإلا، يسرد كل من التشغيل النشط والمكتمل. يتم تشغيل نشط تشغيل في PENDING ، RUNNING أو TERMINATINGPENDING. لا يمكن أن يكون هذا الحقل true عندما يكون completed_only true .

إذا كان completed_only true هو ، يتم تضمين فقط أشواط مكتملة في النتائج؛ وإلا، يسرد كل من التشغيل النشط والمكتمل. لا يمكن أن يكون هذا الحقل true عندما يكون active_only true .
job_id INT64 يتم تشغيل المهمة التي يتم سردها. إذا تم حذفها، سيتم تشغيل قائمة الوظائف من كافة الوظائف.
offset INT32 إزاحة التشغيل الأول للعودة، نسبة إلى التشغيل الأخير.
حد INT32 عدد الأشواط التي يجب إرجاعها. يجب أن تكون هذه القيمة أكبر من 0 وأقل من 1000. القيمة الافتراضية هي 20. إذا كان الطلب يحدد حدا قدره 0، ستستخدم الخدمة الحد الأقصى بدلا من ذلك.
run_type STRING نوع التشغيلات التي يجب إرجاعها. للحصول على وصف لأنواع التشغيل، راجع تشغيل.

بنية الاستجابة

اسم الحقل النوع الوصف
تشغيل صفيف من تشغيل قائمة من أشواط، من بدأت مؤخرا إلى الأقل.
has_more BOOL إذا كان صحيحا، تتوفر عمليات تشغيل إضافية مطابقة عامل التصفية المتوفر للإدراج.

تشغيل الحصول على

نقطة النهاية أسلوب HTTP
2.0/jobs/runs/get GET

استرداد بيانات التعريف الخاصة بتشغيل.

ملاحظة

تتم إزالة الأشواط تلقائيا بعد 60 يوما. إذا كنت تريد الرجوع إليها بعد 60 يوما، يجب حفظ نتائج التشغيل القديمة قبل انتهاء صلاحيتها. للتصدير باستخدام واجهة المستخدم، راجع تصدير نتائج تشغيل المهمة. للتصدير باستخدام API الوظائف، راجع تشغيل التصدير.

مثال

طلب

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/get?run_id=<run-id>' \
| jq .

أو:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/get \
--data run_id=<run-id> \
| jq .

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • <run-id> مع معرف التشغيل، على سبيل المثال 123 .

يستخدم هذا المثال ملف .netrc و jq.

الاستجابة

{
  "job_id": 1,
  "run_id": 452,
  "number_in_job": 5,
  "state": {
    "life_cycle_state": "RUNNING",
    "state_message": "Performing action"
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/my-notebook"
    }
  },
  "cluster_spec": {
    "existing_cluster_id": "1201-my-cluster"
  },
  "cluster_instance": {
    "cluster_id": "1201-my-cluster",
    "spark_context_id": "1102398-spark-context-id"
  },
  "overriding_parameters": {
    "jar_params": ["param1", "param2"]
  },
  "start_time": 1457570074236,
  "end_time": 1457570075149,
  "setup_duration": 259754,
  "execution_duration": 3589020,
  "cleanup_duration": 31038,
  "trigger": "PERIODIC"
}

بنية الطلب

اسم الحقل النوع الوصف
run_id INT64 المعرف الكنسي للتشغيل الذي تريد استرداد بيانات التعريف له. هذه الحقل مطلوب.

بنية الاستجابة

اسم الحقل النوع الوصف
job_id INT64 المعرف الأساسي للوظيفة التي تحتوي على هذا التشغيل.
run_id INT64 المعرف الكنسي للتشغيل. هذا المعرف فريد من نوعه في جميع الوظائف.
number_in_job INT64 رقم تسلسل هذا التشغيل بين كافة أشواط المهمة. تبدأ هذه القيمة عند 1.
original_attempt_run_id INT64 إذا كان هذا التشغيل إعادة محاولة تشغيل سابقة، يحتوي هذا الحقل على run_id المحاولة الأصلية؛ خلاف ذلك ، هو نفسه كما run_id.
الولاية تشغيل الولاية النتيجة وحالات دورة حياة التشغيل.
جدول زمني كرونش دولي جدول cron الذي قام بتشغيل هذا التشغيل إذا تم تشغيله بواسطة المجدول الدوري.
المهمة جوبتاسك المهمة التي يتم تنفيذها بواسطة التشغيل، إن وجدت.
cluster_spec مجموعة الأنواع لقطة من مواصفات نظام المجموعة المهمة عند إنشاء هذا التشغيل.
cluster_instance كلوست إنستانس الكتلة المستخدمة لهذا التشغيل. إذا تم تحديد التشغيل لاستخدام كتلة جديدة، سيتم تعيين هذا الحقل بمجرد طلب خدمة مهام نظام مجموعة للتشغيل.
overriding_parameters رونباراميترس المعلمات المستخدمة لهذا التشغيل.
start_time INT64 الوقت الذي تم تشغيل هذا التشغيل في ميلي ثانية (ميلي ثانية منذ 1/1/1970 UTC). قد لا يكون هذا هو الوقت الذي تبدأ فيه مهمة المهمة في التنفيذ، على سبيل المثال، إذا تمت جدولة المهمة ليتم تشغيلها على نظام مجموعة جديد، فهذا هو الوقت الذي يتم فيه إصدار استدعاء إنشاء الكتلة.
end_time INT64 الوقت الذي انتهت فيه هذه الفترة بالمللي ثانية (ميلي ثانية منذ 1/1/1970 UTC). سيتم تعيين هذا الحقل إلى 0 إذا كانت المهمة لا تزال قيد التشغيل.
setup_duration INT64 الوقت الذي استغرقه إعداد الكتلة بالمللي ثانية. لتشغيل التي تعمل على كتل جديدة هذا هو وقت إنشاء نظام المجموعة، لأشواط التي تعمل على الكتل الموجودة هذه المرة يجب أن تكون قصيرة جدا.
execution_duration INT64 الوقت بالمللي ثانية استغرق تنفيذ الأوامر في JAR أو دفتر الملاحظات حتى إكمال أو فشل أو مهلة أو تم إلغاء أو واجه خطأ غير متوقع.
cleanup_duration INT64 الوقت بالمللي ثانية استغرق إنهاء الكتلة وتنظيف أي artifacts المقترنة. المدة الإجمالية للتشغيل هي مجموع setup_duration execution_duration cleanup_duration.
تشغيل نوع المشغل نوع المشغل الذي أطلق هذا التشغيل.
creator_user_name STRING اسم المستخدم المنشئ. لن يتم تضمين هذا الحقل في الاستجابة إذا تم حذف المستخدم
run_page_url STRING عنوان URL لصفحة التفاصيل الخاصة بالجري.

تشغيل التصدير

نقطة النهاية أسلوب HTTP
2.0/jobs/runs/export GET

تصدير واسترداد المهمة التي يتم تشغيلها.

ملاحظة

يمكن تصدير فقط تشغيل دفتر الملاحظات بتنسيق HTML. سيتم فشل تصدير تشغيل أنواع أخرى.

مثال

طلب

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/export?run_id=<run-id>' \
| jq .

أو:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/export \
--data run_id=<run-id> \
| jq .

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • <run-id> مع معرف التشغيل، على سبيل المثال 123 .

يستخدم هذا المثال ملف .netrc و jq.

الاستجابة

{
  "views": [ {
    "content": "<!DOCTYPE html><html><head>Head</head><body>Body</body></html>",
    "name": "my-notebook",
    "type": "NOTEBOOK"
  } ]
}

لاستخراج دفتر HTML من استجابة JSON، قم بتنزيل وتشغيل هذا البرنامج النصي Python.

ملاحظة

يتم ترميز نص دفتر الملاحظات في __DATABRICKS_NOTEBOOK_MODEL الكائن.

بنية الطلب

اسم الحقل النوع الوصف
run_id INT64 المعرف الكنسي للتشغيل. هذه الحقل مطلوب.
views_to_export وجهات النظرتوإكسبورت طرق العرض التي تريد تصديرها (تعليمات برمجية أو لوحات معلومات أو ALL). الافتراضيات إلى التعليمات البرمجية.

بنية الاستجابة

اسم الحقل النوع الوصف
طُرق العرض صفيف ViewItem المحتوى المصدر بتنسيق HTML (واحد لكل عنصر عرض).

إلغاء تشغيل

نقطة النهاية أسلوب HTTP
2.0/jobs/runs/cancel POST

إلغاء تشغيل. يتم إلغاء التشغيل بشكل غير متزامن، لذلك عند اكتمال هذا الطلب، قد يكون التشغيل لا يزال قيد التشغيل. سيتم إنهاء التشغيل قريبا. إذا كان التشغيل بالفعل في محطة life_cycle_state طرفية ، فهذا الأسلوب هو عملية عدم.

تحقق نقطة النهاية هذه من صحة أن run_id المعلمة صالحة وإرجاع المعلمات غير الصالحة رمز حالة HTTP 400.

مثال

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/cancel \
--data '{ "run_id": <run-id> }'

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • <run-id> مع معرف التشغيل، على سبيل المثال 123 .

يستخدم هذا المثال ملف .netrc.

بنية الطلب

اسم الحقل النوع الوصف
run_id INT64 هذه الحقل مطلوب.

تشغيل الحصول على الإخراج

نقطة النهاية أسلوب HTTP
2.0/jobs/runs/get-output GET

استرداد الإخراج وبيانات التعريف لتشغيل. عندما ترجع مهمة دفتر ملاحظات قيمة من خلال استدعاء dbutils.notebook.exit() ، يمكنك استخدام نقطة النهاية هذه لاسترداد تلك القيمة. يقيد Azure Databricks API هذا لإرجاع أول 5 ميغابايت من الإخراج. لإرجاع نتيجة أكبر، يمكنك تخزين نتائج المهمة في خدمة تخزين مجموعة النظراء.

تحقق نقطة النهاية هذه من صحة أن run_id المعلمة صالحة وإرجاع المعلمات غير الصالحة رمز حالة HTTP 400.

تتم إزالة الأشواط تلقائيا بعد 60 يوما. إذا كنت تريد الرجوع إليها بعد 60 يوما، يجب حفظ نتائج التشغيل القديمة قبل انتهاء صلاحيتها. للتصدير باستخدام واجهة المستخدم، راجع تصدير نتائج تشغيل المهمة. للتصدير باستخدام API الوظائف، راجع تشغيل التصدير.

مثال

طلب

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/get-output?run_id=<run-id>' \
| jq .

أو:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/get-output \
--data run_id=<run-id> \
| jq .

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • <run-id> مع معرف التشغيل، على سبيل المثال 123 .

يستخدم هذا المثال ملف .netrc و jq.

الاستجابة

{
  "metadata": {
    "job_id": 1,
    "run_id": 452,
    "number_in_job": 5,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/my-notebook"
      }
    },
    "cluster_spec": {
      "existing_cluster_id": "1201-my-cluster"
    },
    "cluster_instance": {
      "cluster_id": "1201-my-cluster",
      "spark_context_id": "1102398-spark-context-id"
    },
    "overriding_parameters": {
      "jar_params": ["param1", "param2"]
    },
    "start_time": 1457570074236,
    "setup_duration": 259754,
    "execution_duration": 3589020,
    "cleanup_duration": 31038,
    "trigger": "PERIODIC"
  },
  "notebook_output": {
    "result": "the maybe truncated string passed to dbutils.notebook.exit()"
  }
}

بنية الطلب

اسم الحقل النوع الوصف
run_id INT64 المعرف الكنسي للتشغيل. هذه الحقل مطلوب.

بنية الاستجابة

اسم الحقل النوع الوصف
خطأ notebook_output OR إنتاج دفتر الملاحظات أو إذا notebook_output، إخراج مهمة دفتر ملاحظات، إذا كان متوفرا. مهمة دفتر ملاحظات تنتهي (إما بنجاح أو بفشل) دون استدعاء
dbutils.notebook.exit() يعتبر أن يكون لها مخرجات فارغة. سيتم تعيين هذا الحقل ولكن قيمة النتيجة ستكون فارغة.

في حالة الخطأ، رسالة خطأ تشير إلى سبب عدم توفر الإخراج. الرسالة غير منظمة، وشكلها الدقيق عرضة للتغيير.
بَيانات التعريف تشغيل كافة تفاصيل التشغيل باستثناء الإخراج الخاص به.

تشغيل حذف

نقطة النهاية أسلوب HTTP
2.0/jobs/runs/delete POST

حذف تشغيل غير نشط. إرجاع خطأ إذا كان التشغيل نشطا.

مثال

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/delete \
--data '{ "run_id": <run-id> }'

استبدال:

  • <databricks-instance><databricks-instance>Azure Databricks ، على سبيل المثال adb-1234567890123456.7.azuredatabricks.net .
  • <run-id> مع معرف التشغيل، على سبيل المثال 123 .

يستخدم هذا المثال ملف .netrc.

بنية الطلب

اسم الحقل النوع الوصف
run_id INT64 المعرف الكنسي للتشغيل الذي تريد استرداد بيانات التعريف له.

هياكل البيانات

في هذا القسم:

كلوست إنستانس

معرفات الكتلة و Spark سياق المستخدمة من قبل تشغيل. هذه القيمتين معا تعريف سياق تنفيذ عبر كل وقت.

اسم الحقل النوع الوصف
cluster_id STRING المعرف الأساسي للكتلة المستخدمة من قبل تشغيل. يتوفر هذا الحقل دوما لأشواط على الكتل الموجودة. لأشواط على كتل جديدة، يصبح متوفرا بمجرد إنشاء الكتلة. يمكن استخدام هذه القيمة لعرض السجلات عن طريق الاستعراض إلى /#setting/sparkui/$cluster_id/driver-logs . سوف تستمر السجلات لتكون متوفرة بعد اكتمال التشغيل.

لن تتضمن الاستجابة هذا الحقل إذا لم يكن المعرف متوفرا بعد.
spark_context_id STRING المعرف الكنسي لسياق Spark المستخدم من قبل تشغيل. سيتم ملء هذا الحقل بمجرد بدء تنفيذ التشغيل. يمكن استخدام هذه القيمة لعرض واجهة مستخدم Spark عن طريق الاستعراض إلى /#setting/sparkui/$cluster_id/$spark_context_id . سوف تستمر واجهة المستخدم Spark لتكون متوفرة بعد اكتمال التشغيل.

لن تتضمن الاستجابة هذا الحقل إذا لم يكن المعرف متوفرا بعد.

مجموعة الأنواع

هام

  • عند تشغيل وظيفة على مجموعة مهام جديدة، يتم التعامل مع المهمة كعبء عمل "الحوسبة الوظائف" (الآلي) تخضع لتسعير "الحوسبة الوظائف".
  • عند تشغيل مهمة على كتلة كافة الأغراض موجودة، يتم التعامل معها كعبء عمل compute (تفاعلي) All-Purpose تخضع لتسعير الحوسبة All-Purpose.
اسم الحقل النوع الوصف
existing_cluster_id أو new_cluster STRING أو STRING إذا existing_cluster_id معرف كتلة موجودة سيتم استخدامها لكافة تشغيل هذه المهمة. عند تشغيل مهام على كتلة موجودة قد تحتاج إلى إعادة تشغيل الكتلة يدويا إذا توقف عن الاستجابة. نقترح تشغيل الوظائف على مجموعات جديدة للحصول على مزيد من الموثوقية.

إذا new_cluster، وصفا للكتلة التي سيتم إنشاؤها لكل تشغيل.

إذا كان تحديد PipelineTask، ثم يمكن أن يكون هذا الحقل فارغا.
المصادقة صفيف من المكتبة قائمة اختيارية من المكتبات التي سيتم تثبيتها على الكتلة التي سيتم تنفيذ المهمة. القيمة الافتراضية قائمة فارغة.

كرونش دولي

اسم الحقل النوع الوصف
quartz_cron_expression STRING تعبير Cron باستخدام بناء جملة Quartz الذي يصف الجدول الزمني للمهمة. انظر كرون الزناد للحصول على تفاصيل. هذه الحقل مطلوب.
timezone_id STRING معرف منطقة زمنية Java. سيتم حل الجدول الزمني لوظيفة فيما يتعلق بهذه المنطقة الزمنية. راجع جافا تايمزون للحصول على التفاصيل. هذه الحقل مطلوب.
pause_status STRING الإشارة إلى ما إذا كان هذا الجدول متوقفا مؤقتا أم لا. إما "متوقف مؤقتا" أو "غير مستساغ".

مهمة

اسم الحقل النوع الوصف
job_id INT64 المعرف القانوني لهذه المهمة.
creator_user_name STRING اسم المستخدم المنشئ. لن يتم تضمين هذا الحقل في الاستجابة إذا تم حذف المستخدم بالفعل.
run_as STRING اسم المستخدم الذي سيتم تشغيل المهمة ك. run_as يستند إلى إعدادات المهمة الحالية، ويتم تعيينه إلى منشئ الوظيفة إذا تم تعطيل التحكم في الوصول إلى المهمة، أو is_owner الإذن إذا تم تمكين التحكم في الوصول إلى المهمة.
الإعدادات تعيينات الوظائف الإعدادات لهذه الوظيفة وجميع أشواطها. يمكن تحديث هذه الإعدادات باستخدام resetJob الأسلوب.
created_time INT64 الوقت الذي تم فيه إنشاء هذه المهمة بالمللي ثانية (ميلي ثانية منذ 1/1/1970 UTC).

التنويرات الوظيفية

هام

تقبل حقول on_start on_success on_failure الأحرف اللاتينية فقط (مجموعة أحرف ASCII). استخدام أحرف غير ASCII سيعود خطأ. أمثلة على الأحرف غير الصالحة وغير ASCII هي الصينية واليابانية kanjis والرموز التعبيرية.

اسم الحقل النوع الوصف
on_start صفيفة من STRING قائمة بعناوين البريد الإلكتروني التي سيتم إعلامك بها عند بدء التشغيل. إذا لم يتم تحديدها في إنشاء الوظائف أو إعادة تعيينها أو تحديثها، تكون القائمة فارغة، ولا يتم إرسال الإشعارات.
on_success صفيفة من STRING قائمة بعناوين البريد الإلكتروني التي سيتم إعلامك بها عند اكتمال عملية التشغيل بنجاح. يعتبر أن تم إكمال تشغيل بنجاح إذا كان ينتهي ب TERMINATEDlife_cycle_stateSUCCESSFUL result_state. إذا لم يتم تحديدها في إنشاء الوظائف أو إعادة تعيينها أو تحديثها، تكون القائمة فارغة، ولا يتم إرسال الإشعارات.
on_failure صفيفة من STRING قائمة بعناوين البريد الإلكتروني التي سيتم إعلامك بها عند اكتمال عملية تشغيل دون جدوى. يعتبر أن تم إكمال تشغيل دون جدوى إذا كان ينتهي ب INTERNAL_ERROR
life_cycle_state أو SKIPPEDFAILED ، أو TIMED_OUT result_state. إذا لم يتم تحديد هذا في إنشاء الوظائف، ستكون القائمة فارغة، أو إعادة تعيينها، أو تحديثها، ولن يتم إرسال الإشعارات.
no_alert_for_skipped_runs BOOL إذا كان صحيحا، لا ترسل البريد الإلكتروني إلى المستلمين المحددين في on_failure حالة تخطي التشغيل.

تعيينات الوظائف

هام

  • عند تشغيل وظيفة على مجموعة مهام جديدة، يتم التعامل مع المهمة كعبء عمل "الحوسبة الوظائف" (الآلي) تخضع لتسعير "الحوسبة الوظائف".
  • عند تشغيل مهمة على كتلة كافة الأغراض موجودة، يتم التعامل معها كعبء عمل compute (تفاعلي) All-Purpose تخضع لتسعير الحوسبة All-Purpose.

الإعدادات لوظيفة يمكن تحديث هذه الإعدادات باستخدام resetJob الأسلوب.

اسم الحقل النوع الوصف
existing_cluster_id أو new_cluster STRING أو STRING إذا existing_cluster_id معرف كتلة موجودة سيتم استخدامها لكافة تشغيل هذه المهمة. عند تشغيل مهام على كتلة موجودة قد تحتاج إلى إعادة تشغيل الكتلة يدويا إذا توقف عن الاستجابة. نقترح تشغيل الوظائف على مجموعات جديدة للحصول على مزيد من الموثوقية.

إذا new_cluster، وصفا للكتلة التي سيتم إنشاؤها لكل تشغيل.

إذا كان تحديد PipelineTask، ثم يمكن أن يكون هذا الحقل فارغا.
notebook_task أو spark_jar_task أو spark_python_task أو spark_submit_task أو pipeline_task نوتيبوكتاسك أو سباركجارتاسك أو سباركبيثونتاسك أو سباركسوبميتاسك أو خط أنابيب إذا notebook_task، يشير إلى أن هذه المهمة يجب تشغيل دفتر ملاحظات. قد لا يتم تحديد هذا الحقل بالاقتران مع spark_jar_task.

إذا spark_jar_task، يشير إلى أن هذه المهمة يجب تشغيل JAR.

إذا spark_python_task، يشير إلى أن هذه المهمة يجب تشغيل ملف بيثون.

إذا spark_submit_task، يشير إلى أن هذه المهمة يجب أن يتم تشغيل بواسطة البرنامج النصي إرسال spark.

إذا pipeline_task، يشير إلى أن هذه المهمة يجب تشغيل خط أنابيب جداول مباشر دلتا.
الاسم STRING اسم اختياري للوظيفة. القيمة الافتراضية هي Untitled.
المصادقة صفيف من المكتبة قائمة اختيارية من المكتبات التي سيتم تثبيتها على الكتلة التي سيتم تنفيذ المهمة. القيمة الافتراضية قائمة فارغة.
email_notifications التنويرات الوظيفية مجموعة اختيارية من عناوين البريد الإلكتروني التي سيتم إعلامك عند بدء تشغيل هذه المهمة أو اكتمالها وكذلك عند حذف هذه المهمة. السلوك الافتراضي هو عدم إرسال أي رسائل البريد الإلكتروني.
timeout_seconds INT32 مهلة اختيارية مطبقة على كل تشغيل لهذه المهمة. السلوك الافتراضي هو أن يكون لديك مهلة.
max_retries INT32 عدد أقصى اختياري من المرات لإعادة محاولة تشغيل غير ناجح. يعتبر تشغيل غير ناجحة إذا كان يكمل مع FAILED result_state أو
INTERNAL_ERROR
life_cycle_state. تعني القيمة -1 إعادة المحاولة إلى أجل غير مسمى وتعني القيمة 0 عدم إعادة المحاولة أبدا. السلوك الافتراضي هو عدم إعادة المحاولة.
min_retry_interval_millis INT32 فاصل زمني أدنى اختياري بالمللي ثانية بين المحاولات. السلوك الافتراضي هو أن يتم إعادة محاولة تشغيل غير ناجحة مباشرة.
retry_on_timeout BOOL نهج اختياري لتحديد ما إذا كان يجب إعادة محاولة وظيفة عند المهلة. السلوك الافتراضي هو عدم إعادة المحاولة في المهلة.
جدول زمني كرونش دولي جدول دوري اختياري لهذه المهمة. السلوك الافتراضي هو أن المهمة سيتم تشغيلها فقط عند تشغيلها بالنقر فوق "تشغيل الآن" في واجهة المستخدم للوظائف أو إرسال طلب API إلى
runNow.
max_concurrent_runs INT32 الحد الأقصى الاختياري المسموح به لعدد التشغيل المتزامن للوظيفة.

تعيين هذه القيمة إذا كنت تريد أن تكون قادرا على تنفيذ عدة عمليات تشغيل نفس المهمة في نفس الوقت. وهذا مفيد على سبيل المثال إذا قمت بتشغيل المهمة على جدول متكرر وتريد السماح لأشواط متتالية بالتراكب مع بعضها البعض، أو إذا كنت تريد تشغيل عدة أشواط تختلف حسب معلمات الإدخال الخاصة بها.

يؤثر هذا الإعداد على التشغيلات الجديدة فقط. على سبيل المثال، افترض أن التزامن المهمة هو 4 وهناك 4 تشغيل نشط المتزامنة. ثم تعيين التزامن إلى 3 لن يقتل أي من أشواط نشطة. ومع ذلك، من ذلك الحين فصاعدا، سيتم تخطي أشواط جديدة ما لم يكن هناك أقل من 3 أشواط نشطة.

لا يمكن أن تتجاوز هذه القيمة 1000. يؤدي تعيين هذه القيمة إلى 0 إلى تخطي كافة الأشواط الجديدة. السلوك الافتراضي هو السماح بتشغيل المتزامنة 1 فقط.

جوبتاسك

اسم الحقل النوع الوصف
notebook_task أو spark_jar_task أو spark_python_task أو spark_submit_task أو pipeline_task نوتيبوكتاسك أو سباركجارتاسك أو سباركبيثونتاسك أو سباركسوبميتاسك أو خط أنابيب إذا notebook_task، يشير إلى أن هذه المهمة يجب تشغيل دفتر ملاحظات. قد لا يتم تحديد هذا الحقل بالاقتران مع spark_jar_task.

إذا spark_jar_task، يشير إلى أن هذه المهمة يجب تشغيل JAR.

إذا spark_python_task، يشير إلى أن هذه المهمة يجب تشغيل ملف بيثون.

إذا spark_submit_task، يشير إلى أن هذه المهمة يجب أن يتم تشغيل بواسطة البرنامج النصي إرسال spark.

إذا pipeline_task، يشير إلى أن هذه المهمة يجب تشغيل خط أنابيب جداول مباشر دلتا.

نيو كلوستر

اسم الحقل النوع الوصف
num_workers أو مقياس تلقائي INT32 أو INT32 إذا num_workers، عدد العقد العاملة التي يجب أن يكون نظام المجموعة هذا. يحتوي نظام المجموعة على برنامج تشغيل Spark واحد و منفذين num_workers لما مجموعه عقد num_workers + 1 Spark.

ملاحظة: عند قراءة خصائص الكتلة، يعكس هذا الحقل العدد المطلوب من العمال بدلا من العدد الحالي الفعلي للعمال. فعلى سبيل المثال، إذا تم تغيير حجم مجموعة من 5 إلى 10 عمال، سيتم تحديث هذا الحقل على الفور ليعكس الحجم المستهدف ل 10 عمال، في حين أن العمال المدرجين في spark_info يزدادون تدريجيا من 5 إلى 10 مع توفير العقد الجديدة.

إذا كان المقياس التلقائي، المعلمات المطلوبة من أجل قياس تلقائيا الكتل صعودا وهبوطا على أساس الحمل.
spark_version STRING إصدار Spark من نظام المجموعة. يمكن استرداد قائمة إصدارات Spark المتوفرة باستخدام استدعاء API إصدارات وقت التشغيل. هذه الحقل مطلوب.
spark_conf سبارك كونفبير كائن يحتوي على مجموعة من اختيارية، محددة من قبل المستخدم Spark تكوين مفتاح القيمة أزواج. يمكنك أيضا تمرير في سلسلة من الخيارات JVM اضافية للسائق والمنفذين عن طريق
spark.driver.extraJavaOptions وعلى spark.executor.extraJavaOptions التوالي.

مثال Spark confs:
{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} أو
{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_id STRING يُرمّز هذا الحقل الموارد المتوفرة لكل عقدة Spark في نظام المجموعة هذا، من خلال قيمة واحدة. على سبيل المثال، يمكن توفير العقد Spark وتحسينها للذاكرة أو حساب أعباء العمل المكثفة يمكن استرداد قائمة أنواع العقد المتوفرة باستخدام استدعاء API أنواع عقدة القائمة. هذه الحقل مطلوب.
driver_node_type_id STRING نوع العقدة لبرنامج تشغيل Spark. هذا الحقل اختياري؛ إذا تم إلغاء تعيين، يتم تعيين نوع عقدة برنامج التشغيل على أنه نفس القيمة كما هو node_type_id موضح أعلاه.
custom_tags علامة المجموعة كائن يحتوي على مجموعة من العلامات لموارد نظام المجموعة. علامات Databricks كافة موارد الكتلة (مثل VMs) مع هذه العلامات بالإضافة إلى default_tags.

ملاحظة:

* لا يتم اعتماد العلامات على أنواع العقد القديمة مثل الحوسبة الأمثل والذاكرة الأمثل
* Databricks يسمح في معظم العلامات المخصصة 45
cluster_log_conf كلوجلوج كونف التكوين لتسليم سجلات Spark إلى وجهة تخزين طويلة الأجل. يمكن تحديد وجهة واحدة فقط للكتلة واحدة. إذا تم إعطاء conf، سيتم تسليم السجلات إلى الوجهة كل 5 mins . الوجهة من سجلات برنامج التشغيل <destination>/<cluster-id>/driver هو ، بينما الوجهة من سجلات المنفذ هو <destination>/<cluster-id>/executor .
init_scripts صفيف InitScriptInfo التكوين لتخزين البرامج النصية init. يمكن تحديد أي عدد من البرامج النصية. يتم تنفيذ البرامج النصية بشكل تسلسلي بالترتيب المتوفر. إذا cluster_log_conf تم تحديد، يتم إرسال سجلات البرنامج النصي init إلى
<destination>/<cluster-id>/init_scripts.
spark_env_vars سبارك إنفبير كائن يحتوي على مجموعة من اختيارية، محددة من قبل المستخدم البيئة المتغيرة مفتاح القيمة أزواج. يتم تصدير زوج القيمة المفتاحية للنموذج (X,Y) كما هو (أي،
export X='Y') أثناء إطلاق السائق والعمال.

لتحديد مجموعة إضافية من SPARK_DAEMON_JAVA_OPTS ، نوصي بإلحاقها $SPARK_DAEMON_JAVA_OPTS كما هو موضح في المثال التالي. وهذا يضمن تضمين جميع ستريك البيانات الافتراضية المتغيرات البيئية المدارة أيضا.

مثال على متغيرات بيئة Spark:
{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} أو
{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
enable_elastic_disk BOOL التخزين التلقائي التخزين المحلي: عند تمكين، هذه الكتلة بشكل حيوي يكتسب مساحة إضافية على القرص عند العاملين Spark الخاص به قيد التشغيل منخفضة على مساحة القرص. راجع التخزين المحلي للتحجيم التلقائي للحصول على التفاصيل.
driver_instance_pool_id STRING معرف اختياري تجمع المثيل لاستخدام لعقدة برنامج التشغيل. يجب عليك أيضا تحديد instance_pool_id . راجع مثيل تجمعات API 2.0 للحصول على التفاصيل.
instance_pool_id STRING معرف اختياري تجمع المثيل لاستخدام عقد نظام المجموعة. إذا driver_instance_pool_id كان موجودا،
instance_pool_id يستخدم للعقد العاملة فقط. وإلا، يتم استخدامه لعقدة برنامج التشغيل والعقد العاملة. راجع مثيل تجمعات API 2.0 للحصول على التفاصيل.

إنتاج دفتر الملاحظات

اسم الحقل النوع الوصف
النتيجة STRING القيمة التي تم تمريرها إلى dbutils.notebook.exit(). يقيد Azure Databricks API هذا لإرجاع أول 1 ميغابايت من القيمة. للحصول على نتيجة أكبر، يمكن لوظيفتك تخزين النتائج في خدمة تخزين سحابية. هذا الحقل سيكون غائبا إذا dbutils.notebook.exit() لم يتم استدعاؤه أبدا.
اقتطاع BOOLEAN ما إذا كان قد تم اقتطاع النتيجة أم لا.

نوتيبوكتاسك

تخضع كافة خلايا الإخراج لحجم 8MB. إذا كان إخراج خلية حجم أكبر، سيتم إلغاء باقي التشغيل وسيتم وضع علامة تشغيل كفشل. في هذه الحالة، قد تكون بعض إخراج المحتوى من خلايا أخرى مفقودة أيضا.

إذا كنت بحاجة إلى مساعدة في العثور على الخلية التي تتجاوز الحد، قم بتشغيل دفتر الملاحظات مقابل كتلة لجميع الأغراض واستخدم تقنية الحفظ التلقائي لدفتر الملاحظاتهذه.

اسم الحقل النوع الوصف
notebook_path STRING المسار المطلق لدفتر الملاحظات ليتم تشغيله في مساحة عمل Azure Databricks. يجب أن يبدأ هذا المسار بشرطة مائلة. هذه الحقل مطلوب.
revision_timestamp LONG الطابع الزمني لمراجعة دفتر الملاحظات.
base_parameters خريطة بارامبير المعلمات الأساسية التي سيتم استخدامها لكل تشغيل لهذه المهمة. إذا تم بدء التشغيل بواسطة استدعاء run-now مع معلمات محددة، سيتم دمج مخططات المعلمتين. إذا تم تحديد نفس المفتاح في base_parameters و في ، سيتم استخدام run-now القيمة run-now من.

استخدم متغيرات معلمة المهمة لتعيين المعلمات التي تحتوي على معلومات حول تشغيل المهمة.

إذا كان دفتر الملاحظات يأخذ معلمة غير محددة في المعلمات المهمة base_parameters أو تجاوز سيتم استخدام run-now القيمة الافتراضية من دفتر الملاحظات.

استرداد هذه المعلمات في دفتر باستخدام dbutils.widgets.get.

بارامبير

معلمات تستند إلى الاسم للوظائف التي تشغل مهام دفتر الملاحظات.

هام

تقبل الحقول الموجودة في بنية البيانات هذه الأحرف اللاتينية فقط (مجموعة أحرف ASCII). استخدام أحرف غير ASCII سيعود خطأ. أمثلة على الأحرف غير الصالحة وغير ASCII هي الصينية واليابانية kanjis والرموز التعبيرية.

النوع الوصف
STRING اسم Parameter. تمرير إلى dbutils.widgets.get لاسترداد القيمة.
STRING قيمة المعلمة.

خط أنابيبتسك

اسم الحقل النوع الوصف
pipeline_id STRING الاسم الكامل للمهمة خط أنابيب جداول مباشر دلتا لتنفيذ.

ركض

كافة المعلومات حول تشغيل باستثناء الإخراج الخاص به. يمكن استرداد الإخراج بشكل منفصل باستخدام getRunOutput الأسلوب.

اسم الحقل النوع الوصف
job_id INT64 المعرف الأساسي للوظيفة التي تحتوي على هذا التشغيل.
run_id INT64 المعرف الكنسي للتشغيل. هذا المعرف فريد من نوعه في جميع الوظائف.
creator_user_name STRING اسم المستخدم المنشئ. لن يتم تضمين هذا الحقل في الاستجابة إذا تم حذف المستخدم بالفعل.
number_in_job INT64 رقم تسلسل هذا التشغيل بين كافة أشواط المهمة. تبدأ هذه القيمة عند 1.
original_attempt_run_id INT64 إذا كان هذا التشغيل إعادة محاولة تشغيل سابقة، يحتوي هذا الحقل على run_id المحاولة الأصلية؛ خلاف ذلك ، هو نفسه كما run_id.
الولاية تشغيل الولاية النتيجة وحالات دورة حياة التشغيل.
جدول زمني كرونش دولي جدول cron الذي قام بتشغيل هذا التشغيل إذا تم تشغيله بواسطة المجدول الدوري.
المهمة جوبتاسك المهمة التي يتم تنفيذها بواسطة التشغيل، إن وجدت.
cluster_spec مجموعة الأنواع لقطة من مواصفات نظام المجموعة المهمة عند إنشاء هذا التشغيل.
cluster_instance كلوست إنستانس الكتلة المستخدمة لهذا التشغيل. إذا تم تحديد التشغيل لاستخدام كتلة جديدة، سيتم تعيين هذا الحقل بمجرد طلب خدمة مهام نظام مجموعة للتشغيل.
overriding_parameters رونباراميترس المعلمات المستخدمة لهذا التشغيل.
start_time INT64 الوقت الذي تم تشغيل هذا التشغيل في ميلي ثانية (ميلي ثانية منذ 1/1/1970 UTC). قد لا يكون هذا هو الوقت الذي تبدأ فيه مهمة المهمة في التنفيذ، على سبيل المثال، إذا تمت جدولة المهمة ليتم تشغيلها على نظام مجموعة جديد، فهذا هو الوقت الذي يتم فيه إصدار استدعاء إنشاء الكتلة.
setup_duration INT64 الوقت الذي استغرقه إعداد الكتلة بالمللي ثانية. لتشغيل التي تعمل على كتل جديدة هذا هو وقت إنشاء نظام المجموعة، لأشواط التي تعمل على الكتل الموجودة هذه المرة يجب أن تكون قصيرة جدا.
execution_duration INT64 الوقت بالمللي ثانية استغرق تنفيذ الأوامر في JAR أو دفتر الملاحظات حتى إكمال أو فشل أو مهلة أو تم إلغاء أو واجه خطأ غير متوقع.
cleanup_duration INT64 الوقت بالمللي ثانية استغرق إنهاء الكتلة وتنظيف أي artifacts المقترنة. المدة الإجمالية للتشغيل هي مجموع setup_duration execution_duration cleanup_duration.
end_time INT64 الوقت الذي انتهت فيه هذه الفترة بالمللي ثانية (ميلي ثانية منذ 1/1/1970 UTC). سيتم تعيين هذا الحقل إلى 0 إذا كانت المهمة لا تزال قيد التشغيل.
تشغيل نوع المشغل نوع المشغل الذي أطلق هذا التشغيل.
run_name STRING اسم اختياري للتشغيل. القيمة الافتراضية هي Untitled. الحد الأقصى المسموح به هو 4096 بايت في ترميز UTF-8.
run_page_url STRING عنوان URL لصفحة التفاصيل الخاصة بالجري.
run_type STRING نوع التشغيل.

* JOB_RUN -تشغيل الوظيفة العادية تشغيل تم إنشاؤه باستخدام تشغيل الآن.
* WORKFLOW_RUN - تشغيل سير العمل. تشغيل تم إنشاؤه باستخدام dbutils.notebook.run.
* SUBMIT_RUN - إرسال تشغيل. تشغيل تم إنشاؤه باستخدام تشغيل الآن.
attempt_number INT32 رقم تسلسل محاولة التشغيل هذه لتشغيل مهمة تم تشغيلها. المحاولة الأولية للتشغيل لها attempt_number 0. إذا فشلت محاولة التشغيل الأولية، وكان لدى المهمة نهج max_retries> إعادة محاولة ( 0)، يتم إنشاء عمليات التشغيل اللاحقة باستخدام original_attempt_run_id معرف المحاولة الأصلية وزيادة attempt_number . يتم إعادة محاولة تشغيل فقط حتى تنجح، والحد الأقصى attempt_number هو نفس max_retries قيمة المهمة.

RunLifeCycleState

حالة دورة حياة الركض. الانتقالات المسموح بها للدولة هي:

  • PENDING ->RUNNING ->TERMINATING ->TERMINATED
  • PENDING ->SKIPPED
  • PENDING ->INTERNAL_ERROR
  • RUNNING ->INTERNAL_ERROR
  • TERMINATING ->INTERNAL_ERROR
الولاية الوصف
PENDING تم تشغيل التشغيل. إذا لم يكن هناك بالفعل تشغيل نشطة من نفس المهمة، يتم إعداد سياق نظام المجموعة والتنفيذ. إذا كان هناك بالفعل تشغيل نشط من نفس المهمة، سيتم الانتقال مباشرة إلى SKIPPED الحالة دون إعداد أي موارد.
RUNNING يتم تنفيذ مهمة هذا التشغيل.
TERMINATING اكتملت مهمة هذا التشغيل، ويتم تنظيف سياق نظام المجموعة والتنفيذ.
TERMINATED تم إكمال مهمة هذا التشغيل، وتم تنظيف سياق نظام المجموعة والتنفيذ. هذه الولاية نهائية.
SKIPPED تم إحباط هذا التشغيل لأن تشغيل سابق لنفس المهمة كان نشطا بالفعل. هذه الولاية نهائية.
INTERNAL_ERROR حالة استثنائية تشير إلى فشل في خدمة الوظائف، مثل فشل الشبكة على مدى فترة طويلة. إذا انتهت عملية تشغيل على كتلة جديدة في INTERNAL_ERROR الحالة، تنهي خدمة الوظائف نظام المجموعة في أقرب وقت ممكن. هذه الولاية نهائية.

رونباراميترس

معلمات لهذا التشغيل. يجب تحديد واحد فقط من jar_params python_params أو أو notebook_params في run-now الطلب، استنادا إلى نوع المهمة المهمة. تأخذ الوظائف التي تتضمن مهمة Spark JAR أو مهمة Python قائمة بالمعلمات المستندة إلى الموضع، والمهام ذات مهام دفتر الملاحظات تأخذ خريطة قيمة رئيسية.

اسم الحقل النوع الوصف
jar_params صفيفة من STRING قائمة المعلمات للوظائف مع مهام Spark JAR، على سبيل "jar_params": ["john doe", "35"] المثال. سيتم استخدام المعلمات لاستدعاء الدالة الرئيسية للفئة الرئيسية المحددة في مهمة Spark JAR. إذا لم يتم تحديد على run-now ، فإنه سيتم الافتراضي إلى قائمة فارغة. لا يمكن تحديد jar_params بالاقتران مع notebook_params. تمثيل JSON لهذا الحقل {"jar_params":["john doe","35"]} (أي) لا يمكن أن يتجاوز 10,000 بايت.

استخدم متغيرات معلمة المهمة لتعيين المعلمات التي تحتوي على معلومات حول تشغيل المهمة.
notebook_params خريطة بارامبير خريطة من المفاتيح إلى قيم الوظائف التي لها مهمة دفتر ملاحظات، على سبيل المثال.
"notebook_params": {"name": "john doe", "age": "35"}. يتم تمرير الخريطة إلى دفتر الملاحظات ويمكن الوصول إليها من خلال الدالة dbutils.widgets.get.

إذا لم يتم تحديد على run-now ، يستخدم التشغيل المشغل المعلمات الأساسية للوظيفة.

لا يمكن تحديد notebook_params بالاقتران مع jar_params.

استخدم متغيرات معلمة المهمة لتعيين المعلمات التي تحتوي على معلومات حول تشغيل المهمة.

تمثيل JSON لهذا المجال (أي.
{"notebook_params":{"name":"john doe","age":"35"}}) لا يمكن أن يتجاوز 10,000 بايت.
python_params صفيفة من STRING قائمة المعلمات للوظائف مع مهام Python، على سبيل "python_params": ["john doe", "35"] المثال. يتم تمرير المعلمات إلى ملف Python كمعلمات سطر الأوامر. إذا تم تحديدها على run-now ، فإنها ستكتب فوق المعلمات المحددة في إعداد المهمة. تمثيل JSON لهذا الحقل {"python_params":["john doe","35"]} (أي) لا يمكن أن يتجاوز 10,000 بايت.

استخدم متغيرات معلمة المهمة لتعيين المعلمات التي تحتوي على معلومات حول تشغيل المهمة.

>[! هام] >> تقبل هذه المعلمات الأحرف اللاتينية فقط (مجموعة أحرف ASCII). > استخدام أحرف غير ASCII سيعود خطأ. أمثلة على الأحرف غير الصالحة وغير ASCII هي > الصينية واليابانية kanjis والرموز التعبيرية.
spark_submit_params صفيفة من STRING قائمة المعلمات للوظائف ذات المهمة التي يتم إرسالها من خلال Spark، على سبيل المثال.
"spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]. يتم تمرير المعلمات إلى برنامج نصي إرسال الشرارة كمعلمات سطر الأوامر. إذا تم تحديدها على run-now ، فإنها ستكتب فوق المعلمات المحددة في إعداد المهمة. تمثيل JSON لهذا الحقل {"python_params":["john doe","35"]} (أي) لا يمكن أن يتجاوز 10,000 بايت.

استخدم متغيرات معلمة المهمة لتعيين المعلمات التي تحتوي على معلومات حول تشغيل المهمة.

>[! هام] >> تقبل هذه المعلمات الأحرف اللاتينية فقط (مجموعة أحرف ASCII). > استخدام أحرف غير ASCII سيعود خطأ. أمثلة على الأحرف غير الصالحة وغير ASCII هي > الصينية واليابانية kanjis والرموز التعبيرية.

RunResultState

حالة نتيجة التشغيل.

  • إذا life_cycle_state = TERMINATED كان للتشغيل مهمة، فإن النتيجة مضمونة لتكون متاحة، وتشير إلى نتيجة المهمة.
  • إذا life_cycle_state = PENDING كانت RUNNING حالة SKIPPED النتيجة غير متوفرة أو أو أو .
  • إذا life_cycle_state = TERMINATING كانت حالة أو دورة الحياة = INTERNAL_ERROR : حالة النتيجة متوفرة إذا كان لدى التشغيل مهمة وتمكن من تشغيلها.

بمجرد توفرها، لا تتغير حالة النتيجة أبدا.

الولاية الوصف
نجاح اكتملت المهمة بنجاح.
فشل اكتملت المهمة بخطأ.
المهلة تم إيقاف التشغيل بعد الوصول إلى المهلة.
ملغي تم إلغاء التشغيل بناء على طلب المستخدم.

تشغيل الولاية

اسم الحقل النوع الوصف
life_cycle_state RunLifeCycleState وصف للموقع الحالي للتشغيل في دورة حياة التشغيل. يتوفر هذا الحقل دائما في الاستجابة.
result_state RunResultState حالة نتيجة تشغيل. إذا لم تكن متوفرة، فلن تتضمن الاستجابة هذا الحقل. راجع RunResultState للحصول على تفاصيل حول توفر result_state.
user_cancelled_or_timedout BOOLEAN ما إذا كان قد تم إلغاء تشغيل يدويا من قبل مستخدم أو بواسطة المجدول بسبب مهلة التشغيل.
state_message STRING رسالة وصفية عن الحالة الحالية. هذا الحقل غير منظم، وشكله الدقيق عرضة للتغيير.

سباركجارتاسك

اسم الحقل النوع الوصف
jar_uri STRING مهمل منذ 04/2016. توفير jar من خلال libraries الحقل بدلا من ذلك. للحصول على مثال، راجع إنشاء.
main_class_name STRING الاسم الكامل للفئة التي تحتوي على الأسلوب الرئيسي الذي سيتم تنفيذه. يجب أن تكون هذه الفئة موجودة في JAR يتم توفيرها كمكتبة.

يجب استخدام التعليمات البرمجية SparkContext.getOrCreate للحصول على سياق Spark; وإلا، سيتم فشل تشغيل المهمة.
المعلمات صفيفة من STRING المعلمات التي تم تمريرها إلى الأسلوب الرئيسي.

استخدم متغيرات معلمة المهمة لتعيين المعلمات التي تحتوي على معلومات حول تشغيل المهمة.

سباركبيثونتاسك

اسم الحقل النوع الوصف
python_file STRING سيتم تنفيذ عنوان URI لملف Python. يتم اعتماد مسارات DBFS. هذه الحقل مطلوب.
المعلمات صفيفة من STRING معلمات سطر الأوامر التي تم تمريرها إلى ملف Python.

استخدم متغيرات معلمة المهمة لتعيين المعلمات التي تحتوي على معلومات حول تشغيل المهمة.

سباركسوبميتاسك

هام

  • يمكنك استدعاء Spark إرسال المهام فقط على الكتل الجديدة.
  • في مواصفات new_cluster، libraries وغير spark_conf معتمدة. بدلا من ذلك، استخدم --jars--py-files مكتبات Java و Python وإضافتها --conf وتعيين تكوين Spark.
  • masterdeploy-mode، ويتم executor-cores تكوينها تلقائيا بواسطة Azure Databricks؛ master تحديدها في المعلمات.
  • بشكل افتراضي، يستخدم مهمة إرسال Spark كافة الذاكرة المتوفرة (باستثناء الذاكرة المحجوزة لخدمات Azure Databricks). يمكنك تعيين --driver-memory ، و إلى قيمة أصغر لترك بعض المساحة للاستخدام خارج --executor-memory كومة الذاكرة المؤقتة.
  • --jarsتدعم --py-files الوسائط ، مسارات --files DBFS.

على سبيل المثال، بافتراض أن JAR يتم تحميلها إلى DBFS، يمكنك تشغيل SparkPi عن طريق تعيين المعلمات التالية.

{
  "parameters": [
    "--class",
    "org.apache.spark.examples.SparkPi",
    "dbfs:/path/to/examples.jar",
    "10"
  ]
}
اسم الحقل النوع الوصف
المعلمات صفيفة من STRING تم تمرير معلمات سطر الأوامر لإشعال الإرسال.

استخدم متغيرات معلمة المهمة لتعيين المعلمات التي تحتوي على معلومات حول تشغيل المهمة.

نوع المشغل

هذه هي نوع المشغلات التي يمكن أن تطلق النار على المدى.

النوع الوصف
دوري جداول التي تقوم بتشغيل بشكل دوري تشغيل مثل جدول cron.
ONE_TIME مرة واحدة يؤدي إلى أن النار تشغيل واحد. يحدث هذا تشغيل تشغيل واحد عند الطلب من خلال واجهة المستخدم أو API.
اعاده المحاوله يشير إلى تشغيل الذي يتم تشغيله كمحاولة تشغيل فشل سابقا. يحدث هذا عند طلب إعادة تشغيل المهمة في حالة الفشل.

موقع العرض

المحتوى المصدر بتنسيق HTML. على سبيل المثال، إذا كانت طريقة العرض للتصدير لوحات معلومات، يتم إرجاع سلسلة HTML واحدة لكل لوحة معلومات.

اسم الحقل النوع الوصف
المحتوى STRING محتوى طريقة العرض.
الاسم STRING اسم عنصر العرض. في حالة عرض التعليمات البرمجية، اسم دفتر الملاحظات. في حالة عرض لوحة المعلومات، اسم لوحة المعلومات.
النوع عرضنوع نوع عنصر العرض.

عرضنوع

النوع الوصف
دفتر عنصر عرض دفتر الملاحظات.
لوحه القياده عنصر عرض لوحة المعلومات.

وجهات النظرتوإكسبورت

طريقة العرض للتصدير: إما التعليمات البرمجية أو كافة لوحات المعلومات أو الكل.

النوع الوصف
رمز طريقة عرض التعليمات البرمجية لدفتر الملاحظات.
لوحات جميع طرق عرض لوحة المعلومات لدفتر الملاحظات.
ALL جميع طرق عرض دفتر الملاحظات.