Parallel Data Warehouseデータ ウェアハウスへのデータの読み込み

Integration Services、bcp ユーティリティdwloader コマンド ライン ローダー、または SQL INSERT ステートメントを使用して、SQL Server Parallel Data Warehouse (PDW) にデータを読み込んだり挿入したりできます。

読み込み環境

データを読み込むには、1 台以上の読み込みサーバーが必要です。 独自の既存の ETL または他のサーバーの使用や、新しいサーバーの購入もできます。 詳細については、「読み込み サーバーを取得して構成する」を参照してください。 これらの手順には、読み込み用の適切な ソリューションを計画するのに役立つ、サーバー キャパシティ プランニング ワークシートの読み込みが含まれています。

dwloader を使用した読み込み

dwloader コマンド ライン ローダーを使用すると、PDW にデータを読み込むのに最も高速な方法です。

Loading process

dwloader は、コントロール ノードを介してデータを渡さずに、コンピューティング ノードに直接データを読み込みます。 データを読み込むため、dwloader はまず制御ノードと通信し、コンピューティング ノードの連絡先情報を取得します。 dwloader は、各コンピューティング ノードとの通信チャネルを設定し、ラウンドロビン方式で 256 KB のデータ チャンクをコンピューティング ノードに送信します。

各コンピューティング ノードでは、データ移動サービス (DMS) はデータのチャンクを受信して処理します。 データの処理には、各行を SQL Server ネイティブ形式に変換することや、各行が属するコンピュートノードを決定するためのディストリビューションハッシュを計算することが含まれます。

行を処理した後、DMS はシャッフル移動を使用して、各行を正しい計算ノードとSQL Serverのインスタンスに転送します。 SQL Server は、行を受け取ると、dwloader で設定された -b バッチ サイズ パラメーターに従ってバッチ処理し、バッチを一括読み込みします。

準備されたステートメントを使用して読み込みます

準備されたステートメントを使用して、分散テーブルとレプリケート テーブルにデータの読み込みができます。 入力データがターゲット データ型と一致しない場合は、暗黙的な変換が実行されます。 PDW 準備ステートメントでサポートされる暗黙的な変換は、SQL Server でサポートされる変換のサブセットです。 つまり、変換のサブセットだけがサポートされますが、サポートされる変換は SQL Server の暗黙的な変換と一致しています。 読み込むターゲット テーブルが分散テーブルとレプリケート テーブルのどちらとして定義されているかに関係なく、ターゲット テーブルに存在するすべての列に(必要な場合は)暗黙的な変換が 適用されます。

タスク 説明
ステージング データベースの作成。 ステージング データベースの作成
Integration Services での読み込み。 Integration Services での読み込み
dwloader の型変換について理解します。 dwloader のデータ型の変換規則
dwloader を使用してデータを読み込みます。 dwloader コマンド ライン ローダー
INSERT の型変換について理解します。 INSERT を使用したデータの読み込み