Azure Data Factory または Synapse Analytics で Hadoop Pig アクティビティを使用してデータを変換する
適用対象:
Azure Data Factory Azure Synapse Analytics
ヒント
企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンス、レポートまで、あらゆるものをカバーしています。 無料で新しい試用版を開始する方法について説明します。
Data Factory パイプラインの HDInsight Pig アクティビティでは、独自またはオンデマンドの HDInsight クラスターで Pig クエリを実行します。 この記事は、データ変換とサポートされる変換アクティビティの概要を説明する、 データ変換アクティビティ に関する記事に基づいています。
詳細については、この記事を読む前に、Azure Data Factory または Synapse Analytics の概要に関する記事を参照し、データ変換のチュートリアルを実行してください。
UI を使用して HDInsight Pig アクティビティをパイプラインに追加する
HDInsight Pig アクティビティをパイプラインに使用するには、次の手順を実行します。
パイプラインの [アクティビティ] ペイン内で Pig を検索し、Pig アクティビティをパイプライン キャンバスにドラッグします。
まだ選択されていない場合は、キャンバスで新しい Pig アクティビティを選択します。
[HDI クラスター] タブを選択して、HDInsight クラスターに対する新しいリンクされたサービスを選択または作成します。このサービスは、MapReduce を実行するのに使用されます。
[スクリプト] タブを選択して、スクリプトがホストされる Azure Storage にリンクされた新しいスクリプト サービスを選択または作成します。 そこで実行するクラス名と、ストレージの場所内のファイル パスを指定します。 デバッグ構成や、スクリプトに渡される引数とパラメーターなど、詳細を構成することもできます。
構文
{
"name": "Pig Activity",
"description": "description",
"type": "HDInsightPig",
"linkedServiceName": {
"referenceName": "MyHDInsightLinkedService",
"type": "LinkedServiceReference"
},
"typeProperties": {
"scriptLinkedService": {
"referenceName": "MyAzureStorageLinkedService",
"type": "LinkedServiceReference"
},
"scriptPath": "MyAzureStorage\\PigScripts\\MyPigSript.pig",
"getDebugInfo": "Failure",
"arguments": [
"SampleHadoopJobArgument1"
],
"defines": {
"param1": "param1Value"
}
}
}
構文の詳細
| プロパティ | Description | 必須 |
|---|---|---|
| name | アクティビティの名前 | はい |
| description | アクティビティの用途を説明するテキストです。 | いいえ |
| type | Hive アクティビティの場合、アクティビティの種類は HDinsightPig です | はい |
| linkedServiceName | リンクされたサービスとして登録されている HDInsight クラスターへの参照。 このリンクされたサービスの詳細については、計算のリンクされたサービスに関する記事をご覧ください。 | はい |
| scriptLinkedService | 実行される Pig スクリプトの格納に使用される Azure Storage のリンクされたサービスへの参照。 ここでは Azure Blob Storage および ADLS Gen2 にリンクされたサービスのみがサポートされています。 このリンクされたサービスを指定していない場合は、HDInsight のリンクされたサービスで定義されている Azure Storage のリンクされたサービスが使用されます。 | いいえ |
| scriptPath | scriptLinkedService で参照される Azure Storage に格納されているスクリプト ファイルへのパスを指定します。 ファイル名は大文字と小文字が区別されます。 | いいえ |
| getDebugInfo | HDInsight クラスターで使用されている Azure Storage または scriptLinkedService で指定された Azure Storage にログ ファイルがコピーされるタイミングを指定します。 使用できる値は以下の通りです。None、Always、または Failure。 既定値:[なし] : | いいえ |
| 引数 | Hadoop ジョブの引数の配列を指定します。 引数はコマンド ライン引数として各タスクに渡されます。 | いいえ |
| defines | Pig スクリプト内で参照するキーと値のペアとしてパラメーターを指定します。 | いいえ |
関連するコンテンツ
別の手段でデータを変換する方法を説明している次の記事を参照してください。