Azure Data Factory でサポートされるコンピューティング環境Compute environments supported by Azure Data Factory

この記事では、データの処理または変換に利用できるさまざまなコンピューティング環境について説明します。This article explains different compute environments that you can use to process or transform data. これらのコンピューティング環境を Azure Data Factory にリンクする「リンクされたサービス」の構成時に Data Factory でサポートされるさまざまな構成 (オンデマンドと Bring Your Own の比較) に関する詳細も提供します。It also provides details about different configurations (on-demand vs. bring your own) supported by Data Factory when configuring linked services linking these compute environments to an Azure data factory.

次の表は、Data Factory でサポートされているコンピューティング環境と、その環境で実行できるアクティビティの一覧です。The following table provides a list of compute environments supported by Data Factory and the activities that can run on them.

Compute 環境Compute environment activitiesactivities
On-demand HDInsight クラスターまたは独自の HDInsight クラスターOn-demand HDInsight cluster or your own HDInsight cluster HivePigSparkMapReduceHadoop StreamingHive, Pig, Spark, MapReduce, Hadoop Streaming
Azure BatchAzure Batch カスタムCustom
Azure Machine Learning StudioAzure Machine Learning Studio Machine Learning アクティビティ:バッチ実行とリソースの更新Machine Learning activities: Batch Execution and Update Resource
Azure Machine LearningAzure Machine Learning Azure Machine Learning 実行パイプラインAzure Machine Learning Execute Pipeline
Azure Machine LearningAzure Machine Learning Azure Machine Learning 実行パイプラインAzure Machine Learning Execute Pipeline
Azure Data Lake AnalyticsAzure Data Lake Analytics Data Lake Analytics U-SQLData Lake Analytics U-SQL
Azure SQLAzure SQL Data WarehouseSQL ServerAzure SQL, Azure SQL Data Warehouse, SQL Server ストアド プロシージャStored Procedure
Azure DatabricksAzure Databricks NotebookJarPythonNotebook, Jar, Python
Azure 関数Azure Function Azure 関数アクティビティAzure Function activity

オンデマンドの HDInsight コンピューティング環境On-demand HDInsight compute environment

この種類の構成では、コンピューティング環境は Azure Data Factory サービスにより完全管理されます。In this type of configuration, the computing environment is fully managed by the Azure Data Factory service. データを処理するためのジョブが送信される前に Data Factory サービスにより自動的に作成され、ジョブの完了時に削除されます。It is automatically created by the Data Factory service before a job is submitted to process data and removed when the job is completed. オンデマンドのコンピューティング環境のために「リンクされたサービス」を作成し、構成し、ジョブ実行、クラスター管理、ブートストラップ アクションの詳細設定を制御できます。You can create a linked service for the on-demand compute environment, configure it, and control granular settings for job execution, cluster management, and bootstrapping actions.

注意

オンデマンド構成は現在のところ、Azure HDInsight クラスターにのみ対応しています。The on-demand configuration is currently supported only for Azure HDInsight clusters. Azure Databricks は、ジョブ クラスターを使用したオンデマンド ジョブもサポートしています。詳細については、「Azure Databricks のリンクされたサービス」を参照してください。Azure Databricks also supports on-demand jobs using job clusters, refer to Azure databricks linked service for more details.

Azure HDInsight のオンデマンドのリンクされたサービスAzure HDInsight on-demand linked service

Azure Data Factory サービスは、データを処理するためのオンデマンド HDInsight クラスターを自動的に作成します。The Azure Data Factory service can automatically create an on-demand HDInsight cluster to process data. このクラスターはクラスターに関連付けられているストレージ アカウント (JSON の linkedServiceName プロパティ) と同じリージョンで作成されます。The cluster is created in the same region as the storage account (linkedServiceName property in the JSON) associated with the cluster. ストレージ アカウントは、汎用の標準的な Azure ストレージ アカウントである必要があります。The storage account must be a general-purpose standard Azure storage account.

オンデマンド HDInsight のリンクされたサービスに関する次の 重要な 点に注意してください。Note the following important points about on-demand HDInsight linked service:

  • オンデマンド HDInsight クラスターは Azure サブスクリプションのもとで作成されます。The on-demand HDInsight cluster is created under your Azure subscription. クラスターが稼働している場合、Azure ポータルでクラスターを確認できます。You are able to see the cluster in your Azure portal when the cluster is up and running.
  • オンデマンド HDInsight クラスターで実行されるジョブのログは HDInsight クラスターに関連付けられているストレージ アカウントにコピーされます。The logs for jobs that are run on an on-demand HDInsight cluster are copied to the storage account associated with the HDInsight cluster. リンクされたサービス定義で定義されている ClusterUserName、clusterPassword、clusterSshUserName、clusterSshPassword は、クラスターのライフサイクル中に詳細なトラブルシューティングのためにクラスターにログインするときに使用されます。The clusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword defined in your linked service definition are used to log in to the cluster for in-depth troubleshooting during the lifecycle of the cluster.
  • HDInsight クラスターが稼動し、ジョブを実行している時間に対してのみ課金されます。You are charged only for the time when the HDInsight cluster is up and running jobs.
  • HDInsight のオンデマンドのリンクされたサービスでは、スクリプト操作を使用できません。You can use a Script Action with the Azure HDInsight on-demand linked service.

重要

オンデマンドで Azure HDInsight クラスターをプロビジョニングするには一般的に 20 分以上かかります。It typically takes 20 minutes or more to provision an Azure HDInsight cluster on demand.

Example

次の JSON は、Linux ベースのオンデマンド HDInsight のリンクされたサービスを定義します。The following JSON defines a Linux-based on-demand HDInsight linked service. Data Factory サービスは、必要なアクティビティを処理するために、Linux ベースの HDInsight クラスターを自動的に作成します。The Data Factory service automatically creates a Linux-based HDInsight cluster to process the required activity.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenent id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

重要

HDInsight クラスターは、JSON (linkedServiceName) で指定した BLOB ストレージに既定のコンテナーを作成します。The HDInsight cluster creates a default container in the blob storage you specified in the JSON (linkedServiceName). クラスターを削除しても、HDInsight はこのコンテナーを削除しません。HDInsight does not delete this container when the cluster is deleted. この動作は仕様です。This behavior is by design. オンデマンド HDInsight のリンクされたサービスでは、既存のライブ クラスター (timeToLive) がある場合を除き、スライスを処理する必要があるたびに HDInsight クラスターが作成され、処理が終了すると削除されます。With on-demand HDInsight linked service, a HDInsight cluster is created every time a slice needs to be processed unless there is an existing live cluster (timeToLive) and is deleted when the processing is done.

実行するアクティビティが多いほど、Azure BLOB ストレージ内のコンテナーも増えます。As more activity runs, you see many containers in your Azure blob storage. ジョブのトラブルシューティングのためにコンテナーが必要ない場合、コンテナーを削除してストレージ コストを削減できます。If you do not need them for troubleshooting of the jobs, you may want to delete them to reduce the storage cost. これらのコンテナーの名前は、adf**yourdatafactoryname**-**linkedservicename**-datetimestamp 形式になります。The names of these containers follow a pattern: adf**yourdatafactoryname**-**linkedservicename**-datetimestamp. Azure BLOB ストレージ内のコンテナーを削除するには、 Microsoft ストレージ エクスプローラー などのツールを使用します。Use tools such as Microsoft Storage Explorer to delete containers in your Azure blob storage.

propertiesProperties

プロパティProperty 説明Description 必須Required
typetype type プロパティは HDInsightOnDemandに設定されます。The type property should be set to HDInsightOnDemand. はいYes
clusterSizeclusterSize クラスター内の worker/データ ノードの数です。Number of worker/data nodes in the cluster. このプロパティで指定した worker ノード数と共に 2 つのヘッド ノードを使用して HDInsight クラスターが作成されます。The HDInsight cluster is created with 2 head nodes along with the number of worker nodes you specify for this property. ノードのサイズは Standard_D3 (4 コア) であるため、4 worker ノード クラスターのコアは 24 個になります (worker ノード用に 4*4 = 16 個のコアと、ヘッド ノード用に 2*4 = 8 個のコア)。The nodes are of size Standard_D3 that has 4 cores, so a 4 worker node cluster takes 24 cores (4*4 = 16 cores for worker nodes, plus 2*4 = 8 cores for head nodes). 詳細については、Hadoop、Spark、Kafka などの HDInsight クラスターのセットアップに関する記事を参照してください。See Set up clusters in HDInsight with Hadoop, Spark, Kafka, and more for details. はいYes
linkedServiceNamelinkedServiceName データを保存し、処理するためにオンデマンド クラスターで使用される Azure Storage のリンクされたサービスです。Azure Storage linked service to be used by the on-demand cluster for storing and processing data. HDInsight クラスターは、この Azure Storage アカウントと同じリージョンに作成されます。The HDInsight cluster is created in the same region as this Azure Storage account. Azure HDInsight には、サポートされる各 Azure リージョンで使用できるコアの合計数に制限があります。Azure HDInsight has limitation on the total number of cores you can use in each Azure region it supports. 必要な clusterSize を満たせるだけ十分なコア クォータが、その Azure リージョンに存在することを確認してください。Make sure you have enough core quotas in that Azure region to meet the required clusterSize. 詳細については、Hadoop、Spark、Kafka などの HDInsight クラスターのセットアップに関する記事を参照してくださいFor details, refer to Set up clusters in HDInsight with Hadoop, Spark, Kafka, and more

現時点では、Azure Data Lake Store をストレージとして使用するオンデマンド HDInsight クラスターを作成することはできません。Currently, you cannot create an on-demand HDInsight cluster that uses an Azure Data Lake Store as the storage. HDInsight 処理の結果データを Azure Data Lake Store に保存する必要がある場合は、コピー アクティビティを使用して、Azure Blob Storage から Azure Data Lake Store にデータをコピーします。If you want to store the result data from HDInsight processing in an Azure Data Lake Store, use a Copy Activity to copy the data from the Azure Blob Storage to the Azure Data Lake Store.

はいYes
clusterResourceGroupclusterResourceGroup HDInsight クラスターは、このリソース グループに作成されます。The HDInsight cluster is created in this resource group. はいYes
timetolivetimetolive オンデマンド HDInsight クラスターに許可されるアイドル時間です。The allowed idle time for the on-demand HDInsight cluster. 他のアクティブなジョブがクラスターにない場合、アクティビティ実行の完了後にオンデマンド HDInsight クラスターが起動状態を維持する時間を指定します。Specifies how long the on-demand HDInsight cluster stays alive after completion of an activity run if there are no other active jobs in the cluster. 最小許容値は 5 分 (00:05:00) です。The minimal allowed value is 5 minutes (00:05:00).

たとえば、アクティビティ実行に 6 分かかるときに timetolive が 5 分に設定されている場合、アクティビティ実行の 6 分間の処理の後、クラスターが起動状態を 5 分間維持します。For example, if an activity run takes 6 minutes and timetolive is set to 5 minutes, the cluster stays alive for 5 minutes after the 6 minutes of processing the activity run. 別のアクティビティ実行が 6 分の時間枠で実行される場合、それは同じクラスターで処理されます。If another activity run is executed with the 6-minutes window, it is processed by the same cluster.

オンデマンド HDInsight クラスターの作成は高額な作業であり (時間もかかることがあります)、オンデマンド HDInsight クラスターを再利用し、Data Factory のパフォーマンスを改善する必要がある場合にこの設定を利用します。Creating an on-demand HDInsight cluster is an expensive operation (could take a while), so use this setting as needed to improve performance of a data factory by reusing an on-demand HDInsight cluster.

timetolive 値を 0 に設定した場合、アクティビティ実行の完了直後にクラスターが削除されます。If you set timetolive value to 0, the cluster is deleted as soon as the activity run completes. ただし、高い値を設定した場合、クラスターは、何らかのトラブルシューティングの目的でログオンできるようにアイドル状態を維持できますが、その結果コストが高くなる可能性があります。Whereas, if you set a high value, the cluster may stay idle for you to log on for some troubleshooting purpose but it could result in high costs. そのため、ニーズに合わせて適切な値を設定することが重要です。Therefore, it is important that you set the appropriate value based on your needs.

timetolive プロパティ値が適切に設定されている場合、複数のパイプラインでオンデマンド HDInsight クラスターのインスタンスを共有できます。If the timetolive property value is appropriately set, multiple pipelines can share the instance of the on-demand HDInsight cluster.
はいYes
clusterTypeclusterType 作成する HDInsight クラスターの種類。The type of the HDInsight cluster to be created. 許可される値は "hadoop" および "spark" です。Allowed values are "hadoop" and "spark". 指定しない場合は、既定値の hadoop が使用されます。If not specified, default value is hadoop. Enterprise セキュリティ パッケージ対応のクラスターをオンデマンドで作成することはできません。代わりに既存のクラスターを使用するか、自分のコンピューティングを持ち込んでくださいEnterprise Security Package enabled cluster cannot be created on-demand, instead use an existing cluster/ bring your own compute. いいえNo
versionversion HDInsight クラスターのバージョン。Version of the HDInsight cluster. 指定しない場合、現在の HDInsight 定義の既定バージョンを使用します。If not specified, it's using the current HDInsight defined default version. いいえNo
hostSubscriptionIdhostSubscriptionId HDInsight クラスターを作成するために使用する Azure サブスクリプション ID です。The Azure subscription ID used to create HDInsight cluster. 指定されていない場合は、Azure のログイン コンテキストのサブスクリプション ID を使用します。If not specified, it uses the Subscription ID of your Azure login context. いいえNo
clusterNamePrefixclusterNamePrefix HDI クラスター名のプレフィックス (クラスター名の末尾にタイムスタンプが自動的に付加されます)The prefix of HDI cluster name, a timestamp will be automatically appended at the end of the cluster name いいえNo
sparkVersionsparkVersion クラスターの種類が "Spark" の場合の Spark のバージョンですThe version of spark if the cluster type is "Spark" いいえNo
additionalLinkedServiceNamesadditionalLinkedServiceNames Data Factory サービスがあなたの代わりに登録できるように、HDInsight の「リンクされたサービス」の追加ストレージ アカウントを指定します。Specifies additional storage accounts for the HDInsight linked service so that the Data Factory service can register them on your behalf. これらのストレージ アカウントは、linkedServiceName で指定されたストレージ アカウントと同じリージョンに作成されている HDInsight クラスターと同じリージョンにある必要があります。These storage accounts must be in the same region as the HDInsight cluster, which is created in the same region as the storage account specified by linkedServiceName. いいえNo
osTypeosType オペレーティング システムの種類。Type of operating system. 使用できる値は、以下のとおりです。Linux と Windows (HDInsight 3.3 の場合のみ)。Allowed values are: Linux and Windows (for HDInsight 3.3 only). 既定値は Linux です。Default is Linux. いいえNo
hcatalogLinkedServiceNamehcatalogLinkedServiceName HCatalog データベースを指す Azure SQL のリンクされたサービスの名前。The name of Azure SQL linked service that point to the HCatalog database. オンデマンド HDInsight クラスターは、Azure SQL データベースを metastore として使用して作成されます。The on-demand HDInsight cluster is created by using the Azure SQL database as the metastore. いいえNo
connectViaconnectVia この HDInsight リンク サービスにアクティビティをディスパッチするために使用される統合ランタイムです。The Integration Runtime to be used to dispatch the activities to this HDInsight linked service. オンデマンド HDInsight リンク サービスの場合、Azure 統合ランタイムだけをサポートします。For on-demand HDInsight linked service, it only supports Azure Integration Runtime. 指定されていない場合は、既定の Azure 統合ランタイムが使用されます。If not specified, it uses the default Azure Integration Runtime. いいえNo
clusterUserNameclusterUserName クラスターにアクセスするユーザー名。The username to access the cluster. いいえNo
clusterPasswordclusterPassword クラスターにアクセスするセキュリティで保護された文字列の種類のパスワード。The password in type of secure string to access the cluster. いいえNo
clusterSshUserNameclusterSshUserName クラスターのノードにリモートで接続する SSH のユーザー名 (Linux の場合)。The username to SSH remotely connects to cluster’s node (for Linux). いいえNo
clusterSshPasswordclusterSshPassword クラスターのノードにリモートで接続する SSH のセキュリティで保護された文字列の種類のパスワード (Linux の場合)。The password in type of secure string to SSH remotely connect cluster’s node (for Linux). いいえNo
scriptActionsscriptActions オンデマンド クラスター作成中に HDInsight クラスターのカスタマイズのスクリプトを指定します。Specify script for HDInsight cluster customizations during on-demand cluster creation.
現在、Azure Data Factory のユーザー インターフェイス作成ツールは 1 つのスクリプト操作のみの指定をサポートしていますが、JSON でこの制限に対応できます (JSON で複数のスクリプト操作を指定できます)。Currently, Azure Data Factory's User Interface authoring tool supports specifying only 1 script action, but you can get through this limitation in the JSON (specify multiple script actions in the JSON).
いいえNo

重要

HDInsight は、デプロイできる Hadoop クラスター バージョンを複数サポートしています。HDInsight supports multiple Hadoop cluster versions that can be deployed. 各バージョンを選択すると、特定のバージョンの Hortonworks Data Platform (HDP) ディストリビューションと、そのディストリビューションに含まれるコンポーネントが作成されます。Each version choice creates a specific version of the Hortonworks Data Platform (HDP) distribution and a set of components that are contained within that distribution. HDInsight のサポートされるバージョンの一覧を常に更新して、最新の Hadoop エコシステム コンポーネントと修正プログラムを提供しています。The list of supported HDInsight versions keeps being updated to provide latest Hadoop ecosystem components and fixes. HDInsight のサポートされているバージョンを確実に使用するために、HDInsight のサポートされているバージョンと OS の種類に関する最新情報を常に参照してください。Make sure you always refer to latest information of Supported HDInsight version and OS Type to ensure you are using supported version of HDInsight.

重要

現在、HDInsight のリンクされたサービスは、HBase、Interactive Query (Hive LLAP)、Storm をサポートしていません。Currently, HDInsight linked services does not support HBase, Interactive Query (Hive LLAP), Storm.

additionalLinkedServiceNames JSON の例additionalLinkedServiceNames JSON example

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

サービス プリンシパルの認証Service principal authentication

オンデマンドの HDInsight リンク サービスでは、ユーザーに代わって HDInsight クラスターを作成するためにサービス プリンシパル認証が必要になります。The On-Demand HDInsight linked service requires a service principal authentication to create HDInsight clusters on your behalf. サービス プリンシパルの認証を使用するには、Azure Active Directory (Azure AD) でアプリケーション エンティティを登録し、サブスクリプションの、または HDInsight クラスターが作成されるリソース グループの共同作成者のロールを付与します。To use service principal authentication, register an application entity in Azure Active Directory (Azure AD) and grant it the Contributor role of the subscription or the resource group in which the HDInsight cluster is created. 詳細な手順については、ポータルを使用した、リソースにアクセスできる Azure Active Directory アプリケーションとサービス プリンシパルの作成に関する記事を参照してください。For detailed steps, see Use portal to create an Azure Active Directory application and service principal that can access resources. 次の値を記録しておきます。リンクされたサービスを定義するときに使います。Make note of the following values, which you use to define the linked service:

  • アプリケーション IDApplication ID
  • アプリケーション キーApplication key
  • テナント IDTenant ID

次のプロパティを指定して、サービス プリンシパル認証を使います。Use service principal authentication by specifying the following properties:

プロパティProperty 説明Description 必須Required
servicePrincipalIdservicePrincipalId アプリケーションのクライアント ID を取得します。Specify the application's client ID. はいYes
servicePrincipalKeyservicePrincipalKey アプリケーションのキーを取得します。Specify the application's key. はいYes
tenanttenant アプリケーションが存在するテナントの情報 (ドメイン名またはテナント ID) を指定します。Specify the tenant information (domain name or tenant ID) under which your application resides. Azure Portal の右上隅をマウスでポイントすることにより取得できます。You can retrieve it by hovering the mouse in the upper-right corner of the Azure portal. はいYes

高度なプロパティAdvanced Properties

次のプロパティを指定し、オンデマンド HDInsight クラスターを詳細に設定することもできます。You can also specify the following properties for the granular configuration of the on-demand HDInsight cluster.

プロパティProperty 説明Description 必須Required
coreConfigurationcoreConfiguration 作成する HDInsight クラスターに core 構成パラメーター (core-site.xml と同じ) を指定します。Specifies the core configuration parameters (as in core-site.xml) for the HDInsight cluster to be created. いいえNo
hBaseConfigurationhBaseConfiguration HDInsight クラスターに HBase 構成パラメーター (hbase-site.xml) を指定します。Specifies the HBase configuration parameters (hbase-site.xml) for the HDInsight cluster. いいえNo
hdfsConfigurationhdfsConfiguration HDInsight クラスターに HDFS 構成パラメーター (hdfs-site.xml) を指定します。Specifies the HDFS configuration parameters (hdfs-site.xml) for the HDInsight cluster. いいえNo
hiveConfigurationhiveConfiguration HDInsight クラスターに hive 構成パラメーター (hive-site.xml) を指定します。Specifies the hive configuration parameters (hive-site.xml) for the HDInsight cluster. いいえNo
mapReduceConfigurationmapReduceConfiguration HDInsight クラスターに MapReduce 構成パラメーター (mapred-site.xml) を指定します。Specifies the MapReduce configuration parameters (mapred-site.xml) for the HDInsight cluster. いいえNo
oozieConfigurationoozieConfiguration HDInsight クラスターに Oozie 構成パラメーター (oozie-site.xml) を指定します。Specifies the Oozie configuration parameters (oozie-site.xml) for the HDInsight cluster. いいえNo
stormConfigurationstormConfiguration HDInsight クラスターに Storm 構成パラメーター (storm-site.xml) を指定します。Specifies the Storm configuration parameters (storm-site.xml) for the HDInsight cluster. いいえNo
yarnConfigurationyarnConfiguration HDInsight クラスターに Yarn 構成パラメーター (yarn-site.xml) を指定します。Specifies the Yarn configuration parameters (yarn-site.xml) for the HDInsight cluster. いいえNo

例 – オンデマンド HDInsight クラスターと詳細なプロパティExample – On-demand HDInsight cluster configuration with advanced properties

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenent id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

ノードのサイズNode sizes

次のプロパティを使用して、ヘッド ノード、データ ノード、Zookeeper ノードのサイズを指定できます。You can specify the sizes of head, data, and zookeeper nodes using the following properties:

プロパティProperty 説明Description 必須Required
headNodeSizeheadNodeSize ヘッド ノードのサイズを指定します。Specifies the size of the head node. 既定値はStandard_D3 です。The default value is: Standard_D3. 詳細については、「ノードのサイズの指定」をご覧ください。See the Specifying node sizes section for details. いいえNo
dataNodeSizedataNodeSize データ ノードのサイズを指定します。Specifies the size of the data node. 既定値はStandard_D3 です。The default value is: Standard_D3. いいえNo
zookeeperNodeSizezookeeperNodeSize Zookeeper ノードのサイズを指定します。Specifies the size of the Zoo Keeper node. 既定値はStandard_D3 です。The default value is: Standard_D3. いいえNo

ノードのサイズの指定Specifying node sizes

前のセクションで説明したプロパティで指定する必要がある文字列値については、仮想マシンのサイズに関する記事を参照してください。See the Sizes of Virtual Machines article for string values you need to specify for the properties mentioned in the previous section. 値は、この記事に記載されているコマンドレットと API に準拠する必要があります。The values need to conform to the CMDLETs & APIS referenced in the article. この記事に示すように、Large (既定値) サイズのデータ ノードのメモリ容量は 7 GB ですが、シナリオによってはこれでは不十分な場合があります。As you can see in the article, the data node of Large (default) size has 7-GB memory, which may not be good enough for your scenario.

D4 サイズのヘッド ノードとワーカー ノードを作成する場合は、headNodeSize プロパティと dataNodeSize プロパティの値として Standard_D4 を指定します。If you want to create D4 sized head nodes and worker nodes, specify Standard_D4 as the value for headNodeSize and dataNodeSize properties.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

これらのプロパティに間違った値を指定すると、次のエラーが発生します。エラー: クラスターを作成できませんでした。If you specify a wrong value for these properties, you may receive the following error: Failed to create cluster. 例外:クラスター作成操作を完了できません。Exception: Unable to complete the cluster create operation. コード '400' で操作が失敗しました。Operation failed with code '400'. 取り残されたクラスターの状態:'Error'。Cluster left behind state: 'Error'. メッセージ:'PreClusterCreationValidationFailure'。Message: 'PreClusterCreationValidationFailure'. このエラーが発生した場合は、仮想マシンのサイズに関する記事の表に記載されているコマンドレットと API の名前を使用していることを確認してください。When you receive this error, ensure that you are using the CMDLET & APIS name from the table in the Sizes of Virtual Machines article.

Bring Your Own のコンピューティング環境Bring your own compute environment

この種類の構成では、既存のコンピューティング環境を Data Factory の「リンクされたサービス」として登録できます。In this type of configuration, users can register an already existing computing environment as a linked service in Data Factory. このコンピューティング環境はユーザーにより管理され、Data Factory サービスをこの環境を利用し、アクティビティを実行します。The computing environment is managed by the user and the Data Factory service uses it to execute the activities.

この種類の構成は次のコンピューティング環境でサポートされています。This type of configuration is supported for the following compute environments:

  • Azure HDInsightAzure HDInsight
  • Azure BatchAzure Batch
  • Azure Machine LearningAzure Machine Learning
  • Azure Data Lake AnalyticsAzure Data Lake Analytics
  • Azure SQL DB、Azure SQL DW、SQL ServerAzure SQL DB, Azure SQL DW, SQL Server

Azure HDInsight のリンクされたサービスAzure HDInsight linked service

Azure HDInsight の「リンクされたサービス」を作成し、独自の HDInsight クラスターを Data Factory に登録できます。You can create an Azure HDInsight linked service to register your own HDInsight cluster with Data Factory.

Example

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

propertiesProperties

プロパティProperty 説明Description 必須Required
typetype type プロパティは HDInsightに設定されます。The type property should be set to HDInsight. はいYes
clusterUriclusterUri HDInsight クラスターの URI です。The URI of the HDInsight cluster. はいYes
usernameusername 既存の HDInsight クラスターに接続するために使用されるユーザーの名前を指定します。Specify the name of the user to be used to connect to an existing HDInsight cluster. はいYes
passwordpassword ユーザー アカウントのパスワードを指定します。Specify password for the user account. はいYes
linkedServiceNamelinkedServiceName HDInsight クラスターで使われる Azure Blob Storage を参照する Azure Storage のリンクされたサービスの名前です。Name of the Azure Storage linked service that refers to the Azure blob storage used by the HDInsight cluster.

現在は、Azure Data Lake Store のリンクされたサービスをこのプロパティに指定することはできません。Currently, you cannot specify an Azure Data Lake Store linked service for this property. HDInsight クラスターが Data Lake Store にアクセスできる場合、Hive/Pig スクリプトから Azure Data Lake Store 内のデータにアクセスできます。If the HDInsight cluster has access to the Data Lake Store, you may access data in the Azure Data Lake Store from Hive/Pig scripts.

はいYes
isEspEnabledisEspEnabled HDInsight クラスターが Enterprise セキュリティ パッケージ対応の場合は、'true' を指定します。Specify 'true' if the HDInsight cluster is Enterprise Security Package enabled. 既定値は 'false' です。Default is 'false'. いいえNo
connectViaconnectVia このリンク サービスにアクティビティをディスパッチするために使用される統合ランタイムです。The Integration Runtime to be used to dispatch the activities to this linked service. Azure 統合ランタイムまたは自己ホスト型統合ランタイムを使用することができます。You can use Azure Integration Runtime or Self-hosted Integration Runtime. 指定されていない場合は、既定の Azure 統合ランタイムが使用されます。If not specified, it uses the default Azure Integration Runtime.
Enterprise セキュリティ パッケージ (ESP) 対応の HDInsight クラスターには、クラスターへの通信経路があるセルフホステッド統合ランタイムを使用するか、ESP HDInsight クラスターと同じ仮想ネットワーク内にデプロイする必要があります。For Enterprise Security Package (ESP) enabled HDInsight cluster use a self-hosted integration runtime, which has a line of sight to the cluster or it should be deployed inside the same Virtual Network as the ESP HDInsight cluster.
いいえNo

重要

HDInsight は、デプロイできる Hadoop クラスター バージョンを複数サポートしています。HDInsight supports multiple Hadoop cluster versions that can be deployed. 各バージョンを選択すると、特定のバージョンの Hortonworks Data Platform (HDP) ディストリビューションと、そのディストリビューションに含まれるコンポーネントが作成されます。Each version choice creates a specific version of the Hortonworks Data Platform (HDP) distribution and a set of components that are contained within that distribution. HDInsight のサポートされるバージョンの一覧を常に更新して、最新の Hadoop エコシステム コンポーネントと修正プログラムを提供しています。The list of supported HDInsight versions keeps being updated to provide latest Hadoop ecosystem components and fixes. HDInsight のサポートされているバージョンを確実に使用するために、HDInsight のサポートされているバージョンと OS の種類に関する最新情報を常に参照してください。Make sure you always refer to latest information of Supported HDInsight version and OS Type to ensure you are using supported version of HDInsight.

重要

現在、HDInsight のリンクされたサービスは、HBase、Interactive Query (Hive LLAP)、Storm をサポートしていません。Currently, HDInsight linked services does not support HBase, Interactive Query (Hive LLAP), Storm.

Azure Batch のリンクされたサービスAzure Batch linked service

注意

この記事は、新しい Azure PowerShell Az モジュールを使用するために更新されました。This article has been updated to use the new Azure PowerShell Az module. AzureRM モジュールはまだ使用でき、少なくとも 2020 年 12 月までは引き続きバグ修正が行われます。You can still use the AzureRM module, which will continue to receive bug fixes until at least December 2020. Az モジュールと AzureRM の互換性の詳細については、「Introducing the new Azure PowerShell Az module (新しい Azure PowerShell Az モジュールの概要)」を参照してください。To learn more about the new Az module and AzureRM compatibility, see Introducing the new Azure PowerShell Az module. Az モジュールのインストール手順については、Azure PowerShell のインストールを参照してください。For Az module installation instructions, see Install Azure PowerShell.

Azure Batch の「リンクされたサービス」を作成し、仮想マシン (VM) の Batch プールを Data Factory に登録できます。You can create an Azure Batch linked service to register a Batch pool of virtual machines (VMs) to a data factory. Azure Batch を使用してカスタム アクティビティを実行することができます。You can run Custom activity using Azure Batch.

Azure Batch サービスを初めて利用する場合は、次の記事をご覧ください。See following articles if you are new to Azure Batch service:

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

propertiesProperties

プロパティProperty 説明Description 必須Required
typetype type プロパティは AzureBatchに設定されます。The type property should be set to AzureBatch. はいYes
accountNameaccountName Azure Batch アカウントの名前です。Name of the Azure Batch account. はいYes
accessKeyaccessKey Azure Batch アカウントのアクセス キーです。Access key for the Azure Batch account. はいYes
batchUribatchUri https://batchaccountname.region.batch.azure.com の形式の Azure Batch アカウントへの URL です。URL to your Azure Batch account, in format of https://batchaccountname.region.batch.azure.com. はいYes
poolNamepoolName 仮想マシンのプールの名前です。Name of the pool of virtual machines. はいYes
linkedServiceNamelinkedServiceName この Azure Batch の「リンクされたサービス」に関連付けられている Azure Storage の「リンクされたサービス」の名前です。Name of the Azure Storage linked service associated with this Azure Batch linked service. この「リンクされたサービス」はアクティビティの実行に必要なファイルのステージングに利用されます。This linked service is used for staging files required to run the activity. はいYes
connectViaconnectVia このリンク サービスにアクティビティをディスパッチするために使用される統合ランタイムです。The Integration Runtime to be used to dispatch the activities to this linked service. Azure 統合ランタイムまたは自己ホスト型統合ランタイムを使用することができます。You can use Azure Integration Runtime or Self-hosted Integration Runtime. 指定されていない場合は、既定の Azure 統合ランタイムが使用されます。If not specified, it uses the default Azure Integration Runtime. いいえNo

Azure Machine Learning Studio のリンクされたサービスAzure Machine Learning Studio linked service

Azure Machine Learning Studio の「リンクされたサービス」を作成し、Machine Learning のバッチ スコアリング エンドポイントを Data Factory に登録します。You create an Azure Machine Learning Studio linked service to register a Machine Learning batch scoring endpoint to a data factory.

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

propertiesProperties

プロパティProperty 説明Description 必須Required
種類Type type プロパティは次の値に設定されます。AzureMLThe type property should be set to: AzureML. はいYes
mlEndpointmlEndpoint バッチ スコアリング URL です。The batch scoring URL. はいYes
apiKeyapiKey 公開されたワークスペース モデルの API です。The published workspace model’s API. はいYes
updateResourceEndpointupdateResourceEndpoint トレーニング済みモデル ファイルを使用した予測 Web サービスの更新に使用される Azure Machine Learning Web サービス エンドポイントの更新リソース URL ですThe Update Resource URL for an Azure Machine Learning Web Service endpoint used to update the predictive Web Service with trained model file いいえNo
servicePrincipalIdservicePrincipalId アプリケーションのクライアント ID を取得します。Specify the application's client ID. UpdateResourceEndpoint が指定されている場合は必須ですRequired if updateResourceEndpoint is specified
servicePrincipalKeyservicePrincipalKey アプリケーションのキーを取得します。Specify the application's key. UpdateResourceEndpoint が指定されている場合は必須ですRequired if updateResourceEndpoint is specified
tenanttenant アプリケーションが存在するテナントの情報 (ドメイン名またはテナント ID) を指定します。Specify the tenant information (domain name or tenant ID) under which your application resides. Azure Portal の右上隅をマウスでポイントすることにより取得できます。You can retrieve it by hovering the mouse in the upper-right corner of the Azure portal. UpdateResourceEndpoint が指定されている場合は必須ですRequired if updateResourceEndpoint is specified
connectViaconnectVia このリンク サービスにアクティビティをディスパッチするために使用される統合ランタイムです。The Integration Runtime to be used to dispatch the activities to this linked service. Azure 統合ランタイムまたは自己ホスト型統合ランタイムを使用することができます。You can use Azure Integration Runtime or Self-hosted Integration Runtime. 指定されていない場合は、既定の Azure 統合ランタイムが使用されます。If not specified, it uses the default Azure Integration Runtime. いいえNo

Azure Machine Learning のリンクされたサービスAzure Machine Learning linked service

Azure Machine Learning のリンクされたサービスを作成して、Azure Machine Learning ワークスペースをデータ ファクトリに接続します。You create an Azure Machine Learning linked service to connect an Azure Machine Learning workspace to a data factory.

注意

現在、Azure Machine Learning のリンクされたサービスでは、サービス プリンシパル認証のみがサポートされています。Currently only service principal authentication is supported for the Azure Machine Learning linked service.

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

propertiesProperties

プロパティProperty 説明Description 必須Required
種類Type type プロパティは次の値に設定されます。AzureMLServiceThe type property should be set to: AzureMLService. はいYes
subscriptionIdsubscriptionId Azure サブスクリプション IDAzure subscription ID はいYes
resourceGroupNameresourceGroupName 名前name はいYes
mlWorkspaceNamemlWorkspaceName Azure Machine Learning ワークスペースの名前Azure Machine Learning workspace name はいYes
servicePrincipalIdservicePrincipalId アプリケーションのクライアント ID を取得します。Specify the application's client ID. いいえNo
servicePrincipalKeyservicePrincipalKey アプリケーションのキーを取得します。Specify the application's key. いいえNo
tenanttenant アプリケーションが存在するテナントの情報 (ドメイン名またはテナント ID) を指定します。Specify the tenant information (domain name or tenant ID) under which your application resides. Azure Portal の右上隅をマウスでポイントすることにより取得できます。You can retrieve it by hovering the mouse in the upper-right corner of the Azure portal. UpdateResourceEndpoint が指定されている場合は必須ですRequired if updateResourceEndpoint is specified いいえNo
connectViaconnectVia このリンク サービスにアクティビティをディスパッチするために使用される統合ランタイムです。The Integration Runtime to be used to dispatch the activities to this linked service. Azure 統合ランタイムまたは自己ホスト型統合ランタイムを使用することができます。You can use Azure Integration Runtime or Self-hosted Integration Runtime. 指定されていない場合は、既定の Azure 統合ランタイムが使用されます。If not specified, it uses the default Azure Integration Runtime. いいえNo

Azure Data Lake Analytics リンク サービスAzure Data Lake Analytics linked service

Azure Data Lake Analytics リンク サービスを作成して、Azure Data Lake Analytics コンピューティング サービスを Azure Data Factory にリンクします。You create an Azure Data Lake Analytics linked service to link an Azure Data Lake Analytics compute service to an Azure data factory. パイプラインの Data Lake Analytics U-SQL アクティビティは、このリンク サービスを参照します。The Data Lake Analytics U-SQL activity in the pipeline refers to this linked service.

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

propertiesProperties

プロパティProperty 説明Description 必須Required
typetype type プロパティは次の値に設定されます。AzureDataLakeAnalyticsThe type property should be set to: AzureDataLakeAnalytics. はいYes
accountNameaccountName Azure Data Lake Analytics アカウント名。Azure Data Lake Analytics Account Name. はいYes
dataLakeAnalyticsUridataLakeAnalyticsUri Azure Data Lake Analytics URI。Azure Data Lake Analytics URI. いいえNo
subscriptionIdsubscriptionId Azure サブスクリプション IDAzure subscription ID いいえNo
resourceGroupNameresourceGroupName Azure リソース グループ名Azure resource group name いいえNo
servicePrincipalIdservicePrincipalId アプリケーションのクライアント ID を取得します。Specify the application's client ID. はいYes
servicePrincipalKeyservicePrincipalKey アプリケーションのキーを取得します。Specify the application's key. はいYes
tenanttenant アプリケーションが存在するテナントの情報 (ドメイン名またはテナント ID) を指定します。Specify the tenant information (domain name or tenant ID) under which your application resides. Azure Portal の右上隅をマウスでポイントすることにより取得できます。You can retrieve it by hovering the mouse in the upper-right corner of the Azure portal. はいYes
connectViaconnectVia このリンク サービスにアクティビティをディスパッチするために使用される統合ランタイムです。The Integration Runtime to be used to dispatch the activities to this linked service. Azure 統合ランタイムまたは自己ホスト型統合ランタイムを使用することができます。You can use Azure Integration Runtime or Self-hosted Integration Runtime. 指定されていない場合は、既定の Azure 統合ランタイムが使用されます。If not specified, it uses the default Azure Integration Runtime. いいえNo

Azure Databricks のリンクされたサービスAzure Databricks linked service

Azure Databricks のリンクされたサービスを作成して、Databricks ワークロード (ノートブック、jar、phthon) の実行に使用する Databricks ワークスペースを登録できます。You can create Azure Databricks linked service to register Databricks workspace that you will use to run the Databricks workloads(notebook, jar, python).

重要

Databricks のリンクされたサービスでは、インスタンス プールがサポートされています。Databricks linked services supports Instance pools.

例 - Databricks で新しいジョブ クラスターの使用Example - Using new job cluster in Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "dapif33c9c721144c3a790b35000b57f7124f"
            }
        }
    }
}

例 - Databricks で対話型の既存クラスターの使用Example - Using existing Interactive cluster in Databricks

{
    "name": " AzureDataBricksLinedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "dapif33c9c72344c3a790b35000b57f7124f"
          },
        "existingClusterId": "{clusterId}"
        }
}

propertiesProperties

プロパティProperty 説明Description 必須Required
名前name リンクされたサービスの名前Name of the Linked Service はいYes
typetype type プロパティは次の値に設定されます。Azure DatabricksThe type property should be set to: Azure Databricks. はいYes
domaindomain Databricks ワークスペースのリージョンに基づき Azure リージョンを指定します。Specify the Azure Region accordingly based on the region of the Databricks workspace. 例: https://eastus.azuredatabricks.netExample: https://eastus.azuredatabricks.net はいYes
accessTokenaccessToken Data Factory の Azure Databricks の認証にはアクセス トークンが必要です。Access token is required for Data Factory to authenticate to Azure Databricks. アクセス トークンは、Databricks ワークスペースから生成する必要があります。Access token needs to be generated from the databricks workspace. アクセス トークンを見つける詳細な手順については、こちらを参照してください。More detailed steps to find the access token can be found here はいYes
existingClusterIdexistingClusterId このすべてのジョブを実行する既存のクラスターのクラスター ID。Cluster ID of an existing cluster to run all jobs on this. これは作成済みの対話型クラスターでなければなりません。This should be an already created Interactive Cluster. 応答が停止した場合は、クラスターの手動再起動が必要になることがあります。You may need to manually restart the cluster if it stops responding. Databricks では、信頼性を高めるために新しいクラスターでジョブを実行することをお勧めします。Databricks suggest running jobs on new clusters for greater reliability. 対話型クラスターのクラスター ID は Databricks ワークスペース -> クラスター -> 対話型クラスター名 -> 構成 -> タグで見つけることができます。You can find the Cluster ID of an Interactive Cluster on Databricks workspace -> Clusters -> Interactive Cluster Name -> Configuration -> Tags. 詳細More details いいえNo
instancePoolIdinstancePoolId Databricks ワークスペース内の既存のプールのインスタンス プール ID。Instance Pool ID of an existing pool in databricks workspace. いいえNo
newClusterVersionnewClusterVersion クラスターの Spark バージョン。The Spark version of the cluster. Databricks にジョブ クラスターを作成します。It will create a job cluster in databricks. いいえNo
newClusterNumOfWorkernewClusterNumOfWorker このクラスターに属する worker ノードの数。Number of worker nodes that this cluster should have. 1 つのクラスターには 1 つの Spark ドライバーと num_workers Executor、全体では num_workers + 1 Spark ノードになります。A cluster has one Spark Driver and num_workers Executors for a total of num_workers + 1 Spark nodes. 文字列は Int32 で設定されます。たとえば、"1" は、numOfWorker が 1 であること、"1:10" は、最小が 1 で最大が 10 の自動スケーリングを意味します。A string formatted Int32, like “1” means numOfWorker is 1 or “1:10” means autoscale from 1 as min and 10 as max. いいえNo
newClusterNodeTypenewClusterNodeType このフィールドは、単一の値を通じて使用されるリソースをこのクラスターのそれぞれの Spark ノードにエンコードします。This field encodes, through a single value, the resources available to each of the Spark nodes in this cluster. たとえば、Spark ノードはメモリまたはコンピューティング集約型ワークロード用にプロビジョニングされ、最適化されます。For example, the Spark nodes can be provisioned and optimized for memory or compute intensive workloads. このフィールドは、新しいクラスターに必須です。This field is required for new cluster いいえNo
newClusterSparkConfnewClusterSparkConf 省略可能なユーザー指定の Spark 構成キーと値のペアのセット。a set of optional, user-specified Spark configuration key-value pairs. ユーザーは、余分な JVM オプションの文字列をドライバーと Executor にそれぞれ spark.driver.extraJavaOptions および spark.executor.extraJavaOptions を介して渡すこともできます。Users can also pass in a string of extra JVM options to the driver and the executors via spark.driver.extraJavaOptions and spark.executor.extraJavaOptions respectively. いいえNo
newClusterInitScriptsnewClusterInitScripts 新しいクラスター用のユーザーが定義した省略可能な初期化スクリプトのセット。a set of optional, user-defined initialization scripts for the new cluster. Init スクリプト DBFS への DBFS パスを指定します。Specifying the DBFS path to the init scripts. いいえNo

Azure SQL Database のリンクされたサービスAzure SQL Database linked service

Azure SQL のリンクされたサービスを作成し、 ストアド プロシージャ アクティビティ で使用して、Data Factory パイプラインからストアド プロシージャを起動します。You create an Azure SQL linked service and use it with the Stored Procedure Activity to invoke a stored procedure from a Data Factory pipeline. このリンクされたサービスの詳細については、 Azure SQL コネクタ に関する記事を参照してください。See Azure SQL Connector article for details about this linked service.

Azure SQL Data Warehouse のリンクされたサービスAzure SQL Data Warehouse linked service

Azure SQL Data Warehouse のリンクされたサービスを作成し、 ストアド プロシージャ アクティビティ で使用して、Data Factory パイプラインからストアド プロシージャを起動します。You create an Azure SQL Data Warehouse linked service and use it with the Stored Procedure Activity to invoke a stored procedure from a Data Factory pipeline. このリンクされたサービスの詳細については、 Azure SQL Data Warehouse コネクタ に関する記事をご覧ください。See Azure SQL Data Warehouse Connector article for details about this linked service.

SQL Server のリンクされたサービスSQL Server linked service

SQL Server のリンクされたサービスを作成し、 ストアド プロシージャ アクティビティ で使用して、Data Factory パイプラインからストアド プロシージャを起動します。You create a SQL Server linked service and use it with the Stored Procedure Activity to invoke a stored procedure from a Data Factory pipeline. このリンクされたサービスの詳細については、 SQL Server コネクタ に関する記事をご覧ください。See SQL Server connector article for details about this linked service.

Azure 関数のリンクされたサービスAzure Function linked service

Azure 関数のリンクされたサービスを作成し、それを Azure 関数アクティビティと共に使用して、Data Factory パイプラインで Azure 関数を実行します。You create an Azure Function linked service and use it with the Azure Function activity to run Azure Functions in a Data Factory pipeline. Azure 関数の戻り値の型は、有効な JObject である必要があります。The return type of the Azure function has to be a valid JObject. (JArrayJObject では "ない" ことに留意してください。)JObject以外の戻り値の型が失敗し、ユーザー エラー応答コンテンツは有効な JObject ではないが発生します。(Keep in mind that JArray is not a JObject.) Any return type other than JObject fails and raises the user error Response Content is not a valid JObject.

プロパティProperty 説明Description 必須Required
typetype type プロパティは、次のように設定する必要があります:AzureFunctionThe type property must be set to: AzureFunction はいyes
function app urlfunction app url Azure 関数アプリの URL。URL for the Azure Function App. 形式は https://<accountname>.azurewebsites.net です。Format is https://<accountname>.azurewebsites.net. この URL は、Azure portal で関数アプリを表示した際に URL セクションに表示される値ですThis URL is the value under URL section when viewing your Function App in the Azure portal はいyes
function keyfunction key Azure 関数のアクセス キーです。Access key for the Azure Function. それぞれの関数の [管理] セクションをクリックし、ファンクション キーまたはホスト キーをコピーします。Click on the Manage section for the respective function, and copy either the Function Key or the Host key. 詳しくは、次の記事をご覧ください:Azure Functions の HTTP トリガーとバインドFind out more here: Azure Functions HTTP triggers and bindings はいyes

次の手順Next steps

Azure Data Factory でサポートされる変換アクティビティの一覧については、データの変換に関する記事を参照してください。For a list of the transformation activities supported by Azure Data Factory, see Transform data.