反馈

RemoteSynapseMagics 类

  • 参考

Synapse magic 类。

继承
SynapseMagicBase
RemoteSynapseMagics

构造函数

RemoteSynapseMagics(**kwargs: Any)

方法

synapse 

   %synapse [-s SUBSCRIPTION_ID] [-r RESOURCE_GROUP] [-w WORKSPACE_NAME]
                [-f CONFIG_FILE] [-c COMPUTE_TARGET]
                [--driver-memory DRIVER_MEMORY] [--driver-cores DRIVER_CORES]
                [--executor-memory EXECUTOR_MEMORY]
                [--executor-cores EXECUTOR_CORES] [-n NUM_EXECUTORS]
                [-t SESSION_TIMEOUT] [--start-timeout START_TIMEOUT]
                [-e ENVIRONMENT] [--environment-version ENVIRONMENT_VERSION]
                [command [command ...]]

对 Synapse Spark 池远程执行 Spark 的 Magic。

子命令：启动：针对目标 AML Synapse 计算启动 Livy 会话。 可以在 magic 正文中按 json 格式设置 spark 配置。 例如，

  <!-- literal_block {"ids": [], "classes": [], "names": [], "dupnames": [], "backrefs": [], "xml:space": "preserve", "force": false, "language": "python", "highlight_args": {}, "linenos": false} -->

  ````python

     %%synapse start --compute-target synapse_compute
     {
         "spark.yarn.appMasterEnv.xxx": "xxx",
         "spark.executorEnv.xxx": "xxx",
         "spark.yarn.maxAppAttempts": 1
     }
     ````

运行：针对活动会话运行 Spark 代码。 例如，%%synapse 或 %%synapse pyspark 将针对活动会话执行 PySpark 代码。 例如，%%synapse 或 %%synapse pyspark 将针对活动会话执行 PySpark 代码。 元数据：返回活动会话的元数据。 停止：停止活动会话。

位置参数：要执行的命令。

可选参数：-s SUBSCRIPTION_ID、--subscription-id SUBSCRIPTION_ID

AML 工作区的订阅 ID。

-r RESOURCE_GROUP、--resource-group RESOURCE_GROUP

AML 工作区的资源组名称。

-w WORKSPACE_NAME、--workspace-name WORKSPACE_NAME

AML 工作区的名称。

-f CONFIG_FILE，--config-file CONFIG_FILE

工作区配置文件的路径。 指定 subscription-id、resource-group 或 workspace-name 时将被忽略。

-c COMPUTE_TARGET、--compute-target COMPUTE_TARGET

AML Synapse 池计算机的名称。

--driver-memory DRIVER_MEMORY

Spark 驱动程序的内存大小，默认值为 28g。

--driver-cores DRIVER_CORES

Spark 驱动程序的 VCore 数，默认值为 4。

--executor-memory EXECUTOR_MEMORY

Spark 执行程序的内存大小，默认值为 28g。

--executor-cores EXECUTOR_CORES

Spark 驱动程序的 VCore 数，默认值为 4。

-n NUM_EXECUTORS、--num-executors NUM_EXECUTORS

Spark 驱动程序的 VCore 数，默认值为 2。

-t SESSION_TIMEOUT、--session-timeout SESSION_TIMEOUT

会话超时的分钟数，默认值为 30。

--start-timeout START_TIMEOUT

初始化会话时超时数（以秒表示，默认值为无）。

-e ENVIRONMENT、--environment ENVIRONMENT

用于此会话的环境的名称。

--environment-version ENVIRONMENT_VERSION

环境的版本，如果未指定，将使用最新版本。

synapse 


   %synapse [-s SUBSCRIPTION_ID] [-r RESOURCE_GROUP] [-w WORKSPACE_NAME]
                [-f CONFIG_FILE] [-c COMPUTE_TARGET]
                [--driver-memory DRIVER_MEMORY] [--driver-cores DRIVER_CORES]
                [--executor-memory EXECUTOR_MEMORY]
                [--executor-cores EXECUTOR_CORES] [-n NUM_EXECUTORS]
                [-t SESSION_TIMEOUT] [--start-timeout START_TIMEOUT]
                [-e ENVIRONMENT] [--environment-version ENVIRONMENT_VERSION]
                [command [command ...]]

对 Synapse Spark 池远程执行 Spark 的 Magic。

子命令：启动：针对目标 AML Synapse 计算启动 Livy 会话。 可以在 magic 正文中按 json 格式设置 spark 配置。 例如，

  <!-- literal_block {"ids": [], "classes": [], "names": [], "dupnames": [], "backrefs": [], "xml:space": "preserve", "force": false, "language": "python", "highlight_args": {}, "linenos": false} -->

  ````python

     %%synapse start --compute-target synapse_compute
     {
         "spark.yarn.appMasterEnv.xxx": "xxx",
         "spark.executorEnv.xxx": "xxx",
         "spark.yarn.maxAppAttempts": 1
     }
     ````

运行：针对活动会话运行 Spark 代码。 例如，%%synapse 或 %%synapse pyspark 将针对活动会话执行 PySpark 代码。 例如，%%synapse 或 %%synapse pyspark 将针对活动会话执行 PySpark 代码。 元数据：返回活动会话的元数据。 停止：停止活动会话。

位置参数：要执行的命令。

可选参数：-s SUBSCRIPTION_ID、--subscription-id SUBSCRIPTION_ID

AML 工作区的订阅 ID。

-r RESOURCE_GROUP、--resource-group RESOURCE_GROUP

AML 工作区的资源组名称。

-w WORKSPACE_NAME、--workspace-name WORKSPACE_NAME

AML 工作区的名称。

-f CONFIG_FILE，--config-file CONFIG_FILE

工作区配置文件的路径。 指定 subscription-id、resource-group 或 workspace-name 时将被忽略。

-c COMPUTE_TARGET、--compute-target COMPUTE_TARGET

AML Synapse 池计算机的名称。

--driver-memory DRIVER_MEMORY

Spark 驱动程序的内存大小，默认值为 28g。

--driver-cores DRIVER_CORES

Spark 驱动程序的 VCore 数，默认值为 4。

--executor-memory EXECUTOR_MEMORY

Spark 执行程序的内存大小，默认值为 28g。

--executor-cores EXECUTOR_CORES

Spark 驱动程序的 VCore 数，默认值为 4。

-n NUM_EXECUTORS、--num-executors NUM_EXECUTORS

Spark 驱动程序的 VCore 数，默认值为 2。

-t SESSION_TIMEOUT、--session-timeout SESSION_TIMEOUT

会话超时的分钟数，默认值为 30。

--start-timeout START_TIMEOUT

初始化会话时超时数（以秒表示，默认值为无）。

-e ENVIRONMENT、--environment ENVIRONMENT

用于此会话的环境的名称。

--environment-version ENVIRONMENT_VERSION

环境的版本，如果未指定，将使用最新版本。

synapse(*args, **kwargs)

属性

magics 

magics = {'cell': {'synapse': 'synapse'}, 'line': {'synapse': 'synapse'}}

registered 

registered = True