Saran dan Komentar

RemoteSynapseMagics Kelas

  • Referensi

Kelas ajaib Synapse.

Warisan
SynapseMagicBase
RemoteSynapseMagics

Konstruktor

RemoteSynapseMagics(**kwargs: Any)

Metode

synapse 

   %synapse [-s SUBSCRIPTION_ID] [-r RESOURCE_GROUP] [-w WORKSPACE_NAME]
                [-f CONFIG_FILE] [-c COMPUTE_TARGET]
                [--driver-memory DRIVER_MEMORY] [--driver-cores DRIVER_CORES]
                [--executor-memory EXECUTOR_MEMORY]
                [--executor-cores EXECUTOR_CORES] [-n NUM_EXECUTORS]
                [-t SESSION_TIMEOUT] [--start-timeout START_TIMEOUT]
                [-e ENVIRONMENT] [--environment-version ENVIRONMENT_VERSION]
                [command [command ...]]

Kemudahan untuk menjalankan spark dari jarak jauh terhadap kumpulan Synapse Spark.

Sub perintah: mulai: Mulai sesi Livy terhadap komputasi target AML Synapse. Anda dapat mengatur konfigurasi spark di bodi ajaib dengan format json. Misalnya

  <!-- literal_block {"ids": [], "classes": [], "names": [], "dupnames": [], "backrefs": [], "xml:space": "preserve", "force": false, "language": "python", "highlight_args": {}, "linenos": false} -->

  ````python

     %%synapse start --compute-target synapse_compute
     {
         "spark.yarn.appMasterEnv.xxx": "xxx",
         "spark.executorEnv.xxx": "xxx",
         "spark.yarn.maxAppAttempts": 1
     }
     ````

jalankan: Jalankan kode Spark terhadap sesi aktif. misalnya %%synapse atau %%synapse pyspark akan menjalankan kode PySpark terhadap sesi aktif. misalnya %%synapse spark akan menjalankan kode Scala terhadap sesi aktif. meta: Mengembalikan metadata sesi aktif. hentikan: Hentikan sesi aktif.

argumen posisi: perintahkan Perintah untuk menjalankan.

argumen opsional: -s SUBSCRIPTION_ID, --subscription-id SUBSCRIPTION_ID

ID langganan ruang kerja AML Anda.

-r RESOURCE_GROUP, --resource-group RESOURCE_GROUP

Nama grup sumber daya ruang kerja AML Anda.

-w WORKSPACE_NAME, --workspace-name WORKSPACE_NAME

Nama ruang kerja AML Anda.

-f CONFIG_FILE, --config-file CONFIG_FILE

Jalur file konfigurasi ruang kerja. Akan diabaikan jika subscription-id, resource-group atau workspace-name ditentukan.

-c COMPUTE_TARGET, --compute-target COMPUTE_TARGET

Nama komputasi kumpulan AML Synapse.

--driver-memory DRIVER_MEMORY

Ukuran memori driver Spark, defaultnya adalah 28g.

--driver-cores DRIVER_CORES

Jumlah VCore driver Spark, defaultnya adalah 4.

--executor-memory EXECUTOR_MEMORY

Ukuran memori eksekutor Spark, defaultnya adalah 28g.

--executor-cores EXECUTOR_CORES

Jumlah VCore eksekutor Spark, defaultnya adalah 4.

-n NUM_EXECUTORS, --num-executors NUM_EXECUTORS

Jumlah eksekutor Spark, defaultnya adalah 2.

-t SESSION_TIMEOUT, --session-timeout SESSION_TIMEOUT

Jumlah menit batas waktu sesi, defaultnya adalah 30.

--start-timeout START_TIMEOUT

Jumlah batas waktu dalam detik saat sesi diinisialisasi, defaultnya adalah Tidak Ada.

-e ENVIRONMENT, --environment ENVIRONMENT

Nama lingkungan yang digunakan untuk sesi ini.

--environment-version ENVIRONMENT_VERSION

versi lingkungan, akan menggunakan versi terbaru jika tidak ditentukan.

synapse 


   %synapse [-s SUBSCRIPTION_ID] [-r RESOURCE_GROUP] [-w WORKSPACE_NAME]
                [-f CONFIG_FILE] [-c COMPUTE_TARGET]
                [--driver-memory DRIVER_MEMORY] [--driver-cores DRIVER_CORES]
                [--executor-memory EXECUTOR_MEMORY]
                [--executor-cores EXECUTOR_CORES] [-n NUM_EXECUTORS]
                [-t SESSION_TIMEOUT] [--start-timeout START_TIMEOUT]
                [-e ENVIRONMENT] [--environment-version ENVIRONMENT_VERSION]
                [command [command ...]]

Kemudahan untuk menjalankan spark dari jarak jauh terhadap kumpulan Synapse Spark.

Sub perintah: mulai: Mulai sesi Livy terhadap komputasi target AML Synapse. Anda dapat mengatur konfigurasi spark di bodi ajaib dengan format json. Misalnya

  <!-- literal_block {"ids": [], "classes": [], "names": [], "dupnames": [], "backrefs": [], "xml:space": "preserve", "force": false, "language": "python", "highlight_args": {}, "linenos": false} -->

  ````python

     %%synapse start --compute-target synapse_compute
     {
         "spark.yarn.appMasterEnv.xxx": "xxx",
         "spark.executorEnv.xxx": "xxx",
         "spark.yarn.maxAppAttempts": 1
     }
     ````

jalankan: Jalankan kode Spark terhadap sesi aktif. misalnya %%synapse atau %%synapse pyspark akan menjalankan kode PySpark terhadap sesi aktif. misalnya %%synapse spark akan menjalankan kode Scala terhadap sesi aktif. meta: Mengembalikan metadata sesi aktif. hentikan: Hentikan sesi aktif.

argumen posisi: perintahkan Perintah untuk menjalankan.

argumen opsional: -s SUBSCRIPTION_ID, --subscription-id SUBSCRIPTION_ID

ID langganan ruang kerja AML Anda.

-r RESOURCE_GROUP, --resource-group RESOURCE_GROUP

Nama grup sumber daya ruang kerja AML Anda.

-w WORKSPACE_NAME, --workspace-name WORKSPACE_NAME

Nama ruang kerja AML Anda.

-f CONFIG_FILE, --config-file CONFIG_FILE

Jalur file konfigurasi ruang kerja. Akan diabaikan jika subscription-id, resource-group atau workspace-name ditentukan.

-c COMPUTE_TARGET, --compute-target COMPUTE_TARGET

Nama komputasi kumpulan AML Synapse.

--driver-memory DRIVER_MEMORY

Ukuran memori driver Spark, defaultnya adalah 28g.

--driver-cores DRIVER_CORES

Jumlah VCore driver Spark, defaultnya adalah 4.

--executor-memory EXECUTOR_MEMORY

Ukuran memori eksekutor Spark, defaultnya adalah 28g.

--executor-cores EXECUTOR_CORES

Jumlah VCore eksekutor Spark, defaultnya adalah 4.

-n NUM_EXECUTORS, --num-executors NUM_EXECUTORS

Jumlah eksekutor Spark, defaultnya adalah 2.

-t SESSION_TIMEOUT, --session-timeout SESSION_TIMEOUT

Jumlah menit batas waktu sesi, defaultnya adalah 30.

--start-timeout START_TIMEOUT

Jumlah batas waktu dalam detik saat sesi diinisialisasi, defaultnya adalah Tidak Ada.

-e ENVIRONMENT, --environment ENVIRONMENT

Nama lingkungan yang digunakan untuk sesi ini.

--environment-version ENVIRONMENT_VERSION

versi lingkungan, akan menggunakan versi terbaru jika tidak ditentukan.

synapse(*args, **kwargs)

Atribut

magics 

magics = {'cell': {'synapse': 'synapse'}, 'line': {'synapse': 'synapse'}}

registered 

registered = True