Azure Blob Storage にエクスポートする
重要
Machine Learning Studio (クラシック) のサポートは、2024 年 8 月 31 日に終了します。 その日までに、Azure Machine Learning に切り替えすることをお勧めします。
2021 年 12 月 1 日以降、新しい Machine Learning Studio (クラシック) リソースは作成できません。 2024 年 8 月 31 日まで、既存の Machine Learning Studio (クラシック) リソースを引き続き使用できます。
- ML Studio (クラシック) から Azure Machine Learning への機械学習プロジェクトの移動に関する情報を参照してください。
- Azure Machine Learning についての詳細を参照してください。
ML Studio (クラシック) のドキュメントは廃止予定であり、今後更新されない可能性があります。
この記事では、Machine Learning Studio (クラシック) の [データのエクスポート] Azure Blob Storage にエクスポート] オプションを使用する方法について説明します。
注意
適用対象: Machine Learning Studio (クラシック) のみ
類似のドラッグ アンド ドロップ モジュールは Azure Machine Learning デザイナーで使用できます。
このオプションは、機械学習実験からデータをデータ にエクスポートする場合にAzure Blob Storage。 たとえば、機械学習データ出力を他のアプリケーションと共有したり、他の実験で使用するために中間データやクリーンアップされたデータセットを格納したりすることができます。
Azure BLOB には、HTTP または HTTPS を使用して、どこからでもアクセスすることができます。 データ Azure Blob Storage非構造化データ ストアなので、さまざまな形式でデータをエクスポートできます。 現時点では、CSV、TSV、ARFF の形式がサポートされています。
他のアプリケーションで使用するために Azure BLOB にデータをエクスポートするには、データのエクスポート モジュールを使用してデータをデータに保存Azure Blob Storage。 次に、Azure Storage (Excel、クラウド ストレージ ユーティリティ、その他のクラウド サービスなど) からデータを読み取り、データを読み込んで使用できる任意のツールを使用します。
注意
[ データのインポート]モジュールと [データ のエクスポート] モジュールでは、クラシック デプロイ モデルを使用して作成された Azure Storage からのみデータの読み取りおよび書き込みを行います。 言い換えると、ホットAzure Blob Storageクール ストレージ アクセス層を提供する新しいアカウントの種類はまだサポートされていません。
一般的に、このサービス オプションが利用可能になる前に作成された可能性のある Azure ストレージ アカウントに、影響が及ぶことはありません。
ただし、Machine Learning で使用するために新しいアカウントを作成する必要がある場合は、デプロイ モデルに [クラシック] を選択するか、Resource Manager を使用し、[アカウントの種類] には [Blob Storage ではなく汎用] を選択することをお勧めします。
データをデータにエクスポートするAzure Blob Storage
Azure Blob service は、大量のデータ (バイナリ データを含む) を格納することを目的としています。 Blob Storage には 2 種類あります。パブリックな BLOB と、ログイン資格情報を必要とする BLOB です。
データの エクスポート モジュールを 実験に追加します。 このモジュールは、Studio (クラシック ) の [データの入力と出力 ] カテゴリで確認できます。
Connectエクスポートするデータを生成するモジュールにデータをエクスポートするAzure Blob Storage。
[データの エクスポート] の [プロパティ] ウィンドウを開きます。 データ変換先として [データの変換先] をAzure Blob Storage。
[ 認証の種類] で、ストレージが SAS URL 経由のアクセスをサポートしている場合は、パブリック (SAS URL) を選択します。
SAS URL は、Azure ストレージ ユーティリティを使用して生成できる特殊な種類の URL であり、限られた時間だけ使用できます。 認証とダウンロードに必要なすべての情報を含んでいます。
[URI] に、アカウントとパブリック BLOB を定義する完全 URI を入力するか貼り付けます。
プライベート アカウントの場合は、[アカウント] を選択し、アカウント名とアカウント キーを指定することにより、実験でストレージ アカウントへの書き込みができるようになります。
アカウント名: データを保存するアカウントの名前を入力するか貼り付けます。 たとえば、ストレージ アカウントの完全 URL が
https://myshared.blob.core.windows.netであれば、「myshared」と入力します。アカウント キー: アカウントに関連付けられているストレージ アクセス キーを貼り付けます。
コンテナー、ディレクトリ、または BLOB へのパス: エクスポートされたデータが格納される BLOB の名前を入力します。 たとえば、mymldata という名前のアカウントのコンテナー predictions に格納される results01.csv という名前の新しい BLOB に実験の結果を保存する場合、BLOB の完全 URL は
https://mymldata.blob.core.windows.net/predictions/results01.csvになります。そのため、[コンテナー、ディレクトリ、または BLOB へのパス] フィールドで、コンテナーと BLOB の名前を次のように指定します。
predictions/results01.csvまだ存在しない BLOB の名前を指定した場合、Azure によって自動的に BLOB が作成されます。
既存の BLOB に書き込む場合は、書き込みモードで プロパティを設定し、BLOB の現在の内容Azure Blob Storage指定できます。 既定では、このプロパティが [エラー] に設定されています。この場合、同じ名前の既存のBLOB ファイルが見つかるとエラーが発生します。
[File format for blob file]\(BLOB ファイルのファイル形式\) で、データの保存形式を選択します。
CSV: コンマ区切り値 (CSV) は既定のストレージ形式です。 データと一緒に列見出しをエクスポートする場合は、[Write blob header row]\(BLOB ヘッダー行を書き込む\) を選択してください。 で使用されるコンマ区切り形式の詳細については、「Machine Learning CSV に変換する」を参照してください。
TSV: タブ区切り値 (TSV) 形式は、多くの機械学習ツールと互換性があります。 データと一緒に列見出しをエクスポートする場合は、[Write blob header row]\(BLOB ヘッダー行を書き込む\) を選択してください。 で使用されるタブ区切り形式の詳細については、「Machine Learning TSV への変換」を参照してください。
ARFF: この形式では、Weka ツールセットで使用される形式でファイルを保存できます。 この形式は、SAS URL に格納されているファイルではサポートされていません。 ARFF 形式の詳細については、「ARFF への 変換」を参照してください。
[キャッシュされた結果を使用する]: 実験を実行するごとに結果を BLOB ファイルに書き換えない場合は、このオプションを選択します。 それ以外でモジュールのパラメーターに変更がなければ、実験結果が書き込まれるのは、モジュールの初回実行時と、データに変更が生じたときだけです。
例
データのエクスポート モジュールの使用 例については、 次のページを Azure AI Gallery。
データセットを VW 形式に変換する: この実験では、Python スクリプトとデータのエクスポート モジュールを使用して、Vowpal Wabbit で使用できるデータを作成します。
Azure SQL Data Warehouse を使用して予測分析パイプラインを設定する: このシナリオでは、Machine Learning や SQL Data Warehouse など、複数のコンポーネント間でのデータ移動について説明します。
コードなしバッチ スコアリング: このチュートリアルでは、Azure Logic Apps を使用して、実験で使用されるデータのインポートと、BLOB ストレージへの実験結果の書き込みを自動化する方法について説明します。
Azure データ ファクトリを使用してオンプレミス SQL Server を使用して Azure ML ソリューションを運用化する: この記事では、BLOB ストレージを中間ステージとして使用して、オンプレミスの SQL Server データベースにデータを送信する、より複雑なデータ パイプラインについて説明します。 オンプレミス データベースを使用するには、データ ゲートウェイの構成が必要ですが、この例の部分は省略して、BLOB ストレージを使用できます。
テクニカル ノート
このセクションには、実装の詳細、ヒント、よく寄せられる質問への回答が含まれています。
一般的な質問
実験が変更されなかった場合にデータの書き込みを回避する方法
実験結果が変更された場合、データ のエクスポートでは常 に新しいデータセットが保存されます。 ただし、出力データに影響を与える変更を行わずに実験を繰り返し実行している場合は、 [キャッシュされた結果を使用する] オプションを選択 できます。
モジュールは、実験が以前に同じデータと同じオプションを使用して実行されたかどうかを確認し、以前の実行が見つかった場合、書き込み操作は繰り返されません。
別の地理的リージョンのアカウントにデータを保存できる
はい。異なるリージョンのアカウントにデータを書き込む場合があります。 ただし、ストレージ アカウントが機械学習実験に使用されるコンピューティング ノードとは異なるリージョンにある場合、データ アクセスが遅くなる可能性があります。 また、サブスクリプションでのデータのイングレスとエグレスに対して課金されます。
モジュールのパラメーター
[全般] オプション
| 名前 | Range | Type | Default | 説明 |
|---|---|---|---|---|
| データ ソース | 一覧 | データ ソースまたはシンク | Azure Blob Storage | 宛先は、Azure BLOB ストレージ内のファイル、Azure テーブル、テーブルまたはビュー、または Hive Azure SQL Databaseできます。 |
| キャッシュされた結果を使用する | TRUE または FALSE | Boolean | FALSE | モジュールは、有効なキャッシュが存在しない場合にのみ実行されます。それ以外の場合は、前の実行からキャッシュされたデータを使用します。 |
| 認証の種類を指定してください。 | SAS/アカウント | AuthenticationType | Account | アクセス承認に SAS またはアカウントの資格情報を使用する必要があるかどうかを示します |
パブリックまたは SAS-パブリックストレージオプション
| 名前 | Range | Type | Default | 説明 |
|---|---|---|---|---|
| BLOB の SAS URI | any | String | なし | 書き込み先の blob の SAS URI (必須) |
| SAS ファイルのファイル形式 | ARFF CSV TSV |
LoaderUtils Filetype | CSV | ファイルが CSV、TSV、または ARFF のいずれであるかを示します。 (必須) |
| SAS ヘッダー行の書き込み | TRUE または FALSE | Boolean | FALSE | 列見出しをファイルに書き込むかどうかを示します |
アカウント-プライベートストレージオプション
| 名前 | Range | Type | Default | 説明 |
|---|---|---|---|---|
| Azure のアカウント名 | any | String | なし | Azure ユーザーアカウント名 |
| Azure のアカウント キー | any | SecureString | なし | Azure ストレージ キー |
| コンテナー名で始まる BLOB へのパス | any | String | なし | コンテナー名で始まる blob ファイルの名前 |
| Azure Blob Storage 書き込みモード | リスト: エラー、上書き | enum: BlobFileWriteMode | エラー | Blob ファイルの書き込み方法を選択する |
| BLOB ファイルのファイル形式 | ARFF CSV TSV |
LoaderUtils Filetype | CSV | Blob ファイルが CSV、TSV、または ARFF であるかどうかを示します。 |
| blob ヘッダー行の書き込み | TRUE または FALSE | Boolean | FALSE | Blob ファイルにヘッダー行が含まれるかどうかを示します |
例外
| 例外 | 説明 |
|---|---|
| エラー 0027 | 同じサイズが必要である 2 つのオブジェクトのサイズが異なる場合に、例外が発生します。 |
| エラー 0003 | 1 つ以上の入力が null または空の場合に、例外が発生します。 |
| エラー 0029 | 無効な URI が渡された場合に、例外が発生します。 |
| エラー 0030 | ファイルをダウンロードできない場合は例外が発生します。 |
| エラー 0002 | 1 つ以上のパラメーターが解析できなかった、または指定した型から対象のメソッドの種類で必要な型に変換されなかった場合に、例外が発生します。 |
| エラー 0009 | Azure ストレージのアカウント名またはコンテナー名が正しく指定されていない場合、例外が発生します。 |
| エラー 0048 | ファイルを開けない場合、例外が発生します。 |
| エラー 0046 | 指定したパスにディレクトリを作成できない場合に、例外が発生します。 |
| エラー 0049 | ファイルを解析できない場合、例外が発生します。 |
Studio (クラシック) モジュール固有のエラーの一覧については、「 Machine Learning エラーコード」を参照してください。
API 例外の一覧については、「 Machine Learning REST API のエラーコード」を参照してください。
こちらもご覧ください
データのインポート
データのエクスポート
Azure SQL Database へのエクスポート
Hive クエリへのエクスポート
Azure Table へのエクスポート