Azure Data Factory または Synapse Analytics を使用して Impala からデータをコピーする

[アーティクル]
10/20/2023

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

この記事では、Azure Data Factory および Azure Synapse Analytics パイプラインで Copy アクティビティを使用して、Impala からデータをコピーする方法について説明します。この記事は、コピーアクティビティの概要を示しているコピーアクティビティの概要に関する記事に基づいています。

サポートされる機能

この Impala コネクタでは、次の機能がサポートされています。

サポートされる機能	IR
Copy アクティビティ (ソース/-)	1.1
Lookup アクティビティ	1.1

① Azure 統合ランタイム ② セルフホステッド統合ランタイム

コピーアクティビティによってソースまたはシンクとしてサポートされるデータストアの一覧については、サポートされるデータストアに関する記事の表をご覧ください。

このサービスでは、接続を可能にする組み込みのドライバーが提供されます。そのため、このコネクタを使用するためにドライバーを手動でインストールする必要はありません。

前提条件

データストアがオンプレミスネットワーク、Azure 仮想ネットワーク、または Amazon Virtual Private Cloud 内にある場合は、それに接続するようセルフホステッド統合ランタイムを構成する必要があります。

データストアがマネージドクラウドデータサービスである場合は、Azure Integration Runtime を使用できます。ファイアウォール規則で承認されている IP にアクセスが制限されている場合は、Azure Integration Runtime の IP を許可リストに追加できます。

また、Azure Data Factory のマネージド仮想ネットワーク統合ランタイム機能を使用すれば、セルフホステッド統合ランタイムをインストールして構成しなくても、オンプレミスネットワークにアクセスすることができます。

Data Factory によってサポートされるネットワークセキュリティメカニズムやオプションの詳細については、「データアクセス戦略」を参照してください。

はじめに

パイプラインでコピーアクティビティを実行するには、次のいずれかのツールまたは SDK を使用します。

UI を使用して Impala のリンクサービスを作成する

次の手順を使用して、Azure portal UI で Impala のリンクサービスを作成します。

Azure Data Factory または Synapse ワークスペースの [管理] タブに移動し、[リンクサービス] を選択して、[新規] をクリックします。
- Azure Data Factory
- Azure Synapse
Impala を検索し、Impala コネクタを選択します。
サービスの詳細を構成し、接続をテストして、新しいリンクサービスを作成します。

コネクタの構成の詳細

次のセクションでは、Impala コネクタに固有の Data Factory エンティティの定義に使用されるプロパティについて詳しく説明します。

リンクされたサービスのプロパティ

Impala のリンクされたサービスでは、次のプロパティがサポートされます。

プロパティ	Description	必須
type	type プロパティを Impala に設定する必要があります。	はい
host	Impala サーバーの IP アドレスまたはホスト名 (192.168.222.160)。	はい
port	Impala サーバーがクライアント接続のリッスンに使用する TCP ポート。既定値は 21050 です。	いいえ
authenticationType	使用する認証の種類。使用できる値は、Anonymous、SASLUsername、および UsernameAndPassword です。	はい
username	Impala サーバーへのアクセスに使用するユーザー名。既定値は anonymous です (SASLUsername を使用するとき)。	いいえ
password	ユーザー名に対応するパスワード (UsernameAndPassword を使用するとき)。このフィールドを SecureString とマークして安全に保存するか、Azure Key Vault に保存されているシークレットを参照します。	いいえ
enableSsl	サーバーへの接続が TLS を使用して暗号化されるかどうかを指定します。既定値は false です。	いいえ
trustedCertPath	TLS 経由で接続するときにサーバーを検証するために使用される信頼された CA 証明書を含む .pem ファイルの完全なパス。このプロパティは、セルフホステッド統合ランタイムで TLS を使用している場合にのみ設定できます。既定値は、IR でインストールされる cacerts.pem ファイルです。	いいえ
useSystemTrustStore	システムの信頼ストアと指定した PEM ファイルのどちらの CA 証明書を使用するかを指定します。既定値は false です。	いいえ
allowHostNameCNMismatch	TLS 経由で接続するときに、CA が発行した TLS/SSL 証明書名がサーバーのホスト名と一致する必要があるかどうかを指定します。既定値は false です。	いいえ
allowSelfSignedServerCert	サーバーからの自己署名証明書を許可するかどうかを指定します。既定値は false です。	いいえ
connectVia	データストアに接続するために使用される統合ランタイム。詳細については、「前提条件」セクションを参照してください。指定されていない場合は、既定の Azure 統合ランタイムが使用されます。	いいえ

例:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。このセクションでは、Impala データセットでサポートされるプロパティの一覧を示します。

Impala からデータをコピーするには、データセットの type プロパティを ImpalaObject に設定します。次のプロパティがサポートされています。

プロパティ	Description	必須
type	データセットの type プロパティは、次のように設定する必要があります:ImpalaObject	はい
schema	スキーマの名前。	いいえ (アクティビティソースの "query" が指定されている場合)
table	テーブルの名前。	いいえ (アクティビティソースの "query" が指定されている場合)
tableName	スキーマがあるテーブルの名前。このプロパティは下位互換性のためにサポートされています。新しいワークロードでは、`schema` と `table` を使用します。	いいえ (アクティビティソースの "query" が指定されている場合)

例

{
    "name": "ImpalaDataset",
    "properties": {
        "type": "ImpalaObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Impala linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

コピーアクティビティのプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。このセクションでは、Impala ソースタイプでサポートされるプロパティの一覧を示します。

ソースタイプとしての Impala

Impala からデータをコピーするには、コピーアクティビティのソースタイプを ImpalaSource に設定します。コピーアクティビティの source セクションでは、次のプロパティがサポートされます。

プロパティ	Description	必須
type	コピーアクティビティのソースの type プロパティは ImpalaSource に設定する必要があります。	はい
query	カスタム SQL クエリを使用してデータを読み取ります。たとえば `"SELECT * FROM MyTable"` です。	いいえ (データセットの "tableName" が指定されている場合)

例:

"activities":[
    {
        "name": "CopyFromImpala",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Impala input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ImpalaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Lookup アクティビティのプロパティ

プロパティの詳細については、Lookup アクティビティに関するページを参照してください。

コピーアクティビティによってソース、シンクとしてサポートされるデータストアの一覧については、サポートされるデータストアに関するセクションを参照してください。

Azure Data Factory または Synapse Analytics を使用して Impala からデータをコピーする

サポートされる機能

前提条件

はじめに

UI を使用して Impala のリンク サービスを作成する

コネクタの構成の詳細

リンクされたサービスのプロパティ

データセットのプロパティ

コピー アクティビティのプロパティ

ソース タイプとしての Impala

Lookup アクティビティのプロパティ

関連するコンテンツ

その他のリソース

UI を使用して Impala のリンクサービスを作成する

コピーアクティビティのプロパティ

ソースタイプとしての Impala