Azure Managed Lustre からデータをエクスポートするエクスポート ジョブをCreateする
この記事では、エクスポート ジョブを作成して、Azure Managed Lustre ファイル システムから Azure Blob Storage の長期ストレージにデータをコピーする方法について説明します。
エクスポート ジョブは、ファイル システムの作成時にAzure Blob Storageを Azure Managed Lustre ファイル システムと統合する場合にのみ使用できます。 詳細については、「Azure Blob Storage統合」を参照してください。 ファイル システムの作成時に BLOB コンテナーを統合しなかった場合は、クライアント ファイルシステム コマンドを使用して、エクスポート ジョブを作成せずにデータをコピーします。
エクスポート ジョブ中にエクスポートされるファイルはどれですか?
Azure Managed Lustre システムからファイルをエクスポートする場合、ファイル システムの作成時に指定した BLOB コンテナーにすべてのファイルがコピーされるわけではありません。 エクスポート ジョブには、次の規則が適用されます。
- エクスポート ジョブは、新しいファイルまたは内容が変更されたファイルのみをコピーします。 ファイル システムの作成時に BLOB コンテナーからインポートしたファイルが変更されていない場合、エクスポート ジョブはファイルをエクスポートしません。
- メタデータの変更のみを含むファイルはエクスポートされません。 メタデータの変更には、所有者、アクセス許可、拡張属性、名前の変更 (名前の変更) が含まれます。
- Azure Managed Lustre ファイル システムで削除されたファイルは、エクスポート ジョブ中に元の BLOB コンテナーで削除されません。 エクスポート ジョブでは、BLOB コンテナー内のファイルは削除されません。
データのエクスポートは、Azure portalまたはネイティブ Lustre クライアント CLI のコマンドを使用して実行できる、ユーザーが開始するプロセスです。 どちらの方法でも、エクスポート ジョブの状態を監視できます。
次の手順では、次の方法を示します。
- Azure portalでエクスポート ジョブをCreateする
- Azure portalのエクスポート ジョブを監視または取り消す
- ネイティブ Lustre CLI のコマンドを使用してエクスポート ジョブをCreateする
- ネイティブの Lustre CLI コマンドを使用してファイルのアーカイブ状態を監視する
Azure portalでエクスポート ジョブをCreateする
Azure portalの Azure Managed Lustre ファイル システムから変更されたデータをエクスポートするエクスポート ジョブを作成するには、次の手順を実行します。
Azure portalで、Azure Managed Lustre ファイル システムを開き、[設定] の下の [BLOB 統合] ペインに移動します。
[+ Create新しいジョブ] を選択します。
[ ファイル システム パス] に値を入力して、エクスポート ジョブでエクスポートする内容を指定します。
- Azure Managed Lustre ファイル システムのこの文字列で始まるファイル名を持つ新規または変更されたすべてのファイルがエクスポートされます。
- ファイルは、Lustre システムと同じファイル パス (またはプレフィックス) を使用して BLOB コンテナーに書き込まれます。 BLOB コンテナー内の既存のファイルを上書きしないようにするには、Lustre システム内のファイルのパスが BLOB コンテナー内のファイルの既存のパスと重複していないことを確認します。
次のスクリーンショットは、Azure portalのエクスポート ジョブ構成設定を示しています。
Azure portalのエクスポート ジョブを監視または取り消す
blob 統合を使用して作成したエクスポート ジョブは、Azure portalの Azure Managed Lustre ファイル システムと監視または取り消すことができます。 [BLOB 統合] ページの [最近使用したジョブ] セクションには、各ジョブの状態が表示されます。
一度に実行されるアーカイブ ジョブは 1 つだけです。 進行中のジョブを取り消すには、[最近使用したジョブ] テーブルでそのジョブの [キャンセル] リンクを選択します。 [キャンセル] リンクは、完了したジョブでは使用できません。
ネイティブの Lustre クライアント CLI を使用してエクスポート ジョブをCreateする
ネイティブの Lustre クライアント CLI コマンドを使用して Azure Managed Lustre ファイル システムから変更されたデータをエクスポートするエクスポート ジョブを作成するには、次のいずれかのコマンドを使用します。
- 1 つのファイルをエクスポートするには、次のようなコマンドを実行します。
sudo lfs hsm_archive path/to/export/file
- ディレクトリ内のすべてのファイルをエクスポートするには、次のようなコマンドを実行します。
nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
ネイティブの Lustre クライアント CLI を使用してエクスポート (アーカイブ) 状態を監視する
ネイティブの Lustre クライアント CLI を使用してエクスポート ジョブの状態をチェックするには、次のコマンドを実行します。
find path/to/export/file -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_action | grep "ARCHIVE" | wc -l
各ファイルには関連付けられた状態があり、Lustre ファイル システムのファイル データとAzure Blob Storage内のファイル データの関係を示します。 ファイルの状態をチェックするには、次のコマンドを実行します。
sudo lfs hsm_state path/to/export/file
state コマンドは、変更の状態をファイルに報告します。 次の表は、考えられるファイルの状態を示しています。
| 状態 | 説明 |
|---|---|
(0x0000000d) released exists archived |
ファイルの内容 (データ) は Blob Storage にのみ存在します。 Lustre にはメタデータのみが存在します。 エクスポート (アーカイブ) ジョブは、Blob Storage 内のファイルを更新 (上書き) しません。 |
(0x00000009) exists archived |
Blob Storage には最新のコピーが既に存在するため、エクスポート (アーカイブ) ジョブではファイルが Blob Storage にエクスポートされません。 |
(0x0000000b) exists dirty archived |
ファイルにアーカイブされていない変更があります。 Lustre の変更を Blob Storage に返送するには、エクスポート ジョブを実行します。 エクスポート ジョブによって、Blob Storage 内のファイルが上書きされます。 |
(0x00000000) |
ファイルは新しく、Lustre ファイル システムにのみ存在します。 エクスポート ジョブは、BLOB コンテナーに新しいファイルを作成します。 ファイルが Lustre で再び更新された場合は、別のエクスポート ジョブを実行して、それらの変更を Blob Storage にコピーします。 |
(0x00000001) exists |
ファイルは新しく、Lustre ファイル システムにのみ存在します。 エクスポート ジョブが開始され、このファイルに対して完了していません。 |
次の手順
フィードバック
以下は間もなく提供いたします。2024 年を通じて、コンテンツのフィードバック メカニズムとして GitHub の issue を段階的に廃止し、新しいフィードバック システムに置き換えます。 詳細については、「https://aka.ms/ContentUserFeedback」を参照してください。
フィードバックの送信と表示