Azure HPC Cache の前提条件Prerequisites for Azure HPC Cache

Azure portal を使用して新しい Azure HPC Cache を作成する前に、ご利用の環境が要件を満たしていることを確認します。Before using the Azure portal to create a new Azure HPC Cache, make sure your environment meets these requirements.

ビデオの概要Video overviews

これらのビデオを見ると、システムのコンポーネントの概要と、それらの連携に必要なものを理解できますWatch these videos for a quick overview of the system's components and what they need to work together.

(ビデオ画像またはリンクをクリックすると見ることができます)。(Click the video image or the link to watch.)

  • しくみ - Azure HPC Cache がストレージおよびクライアントとどのように連携するかについて説明しますHow it works - Explains how Azure HPC Cache interacts with storage and clients

    ビデオのサムネイル画像:Azure HPC Cache:しくみ (クリックするとビデオ ページに移動します)video thumbnail image: Azure HPC Cache: How it works (click to visit video page)

  • 前提条件 - NAS ストレージ、Azure Blob Storage、ネットワーク アクセス、およびクライアント アクセスの要件について説明しますPrerequisites - Describes requirements for NAS storage, Azure Blob storage, network access, and client access

    ビデオのサムネイル画像:Azure HPC Cache:前提条件 (クリックするとビデオ ページに移動します)video thumbnail image: Azure HPC Cache: Prerequisites (click to visit video page)

具体的な推奨事項については、この記事の残りの部分を参照してください。Read the rest of this article for specific recommendations.

Azure サブスクリプションAzure subscription

有料サブスクリプションをお勧めします。A paid subscription is recommended.

ネットワーク インフラストラクチャNetwork infrastructure

キャッシュを使用するには、ネットワークに関連した次の 2 つの前提条件を事前に設定しておく必要があります。Two network-related prerequisites should be set up before you can use your cache:

  • Azure HPC Cache インスタンスの専用サブネットA dedicated subnet for the Azure HPC Cache instance
  • DNS サポート (キャッシュがストレージや他のリソースにアクセスできるようにするため)DNS support so that the cache can access storage and other resources

キャッシュのサブネットCache subnet

Azure HPC Cache には、次の条件を満たした専用のサブネットが必要です。The Azure HPC Cache needs a dedicated subnet with these qualities:

  • サブネットには、使用できる IP アドレスが少なくとも 64 個必要です。The subnet must have at least 64 IP addresses available.
  • そのサブネットで他の VM をホストすることはできません。クライアント マシンなど、関連サービス用の VM であっても同様です。The subnet cannot host any other VMs, even for related services like client machines.
  • 複数の Azure HPC Cache インスタンスを使用する場合、各インスタンスに独自のサブネットが必要です。If you use multiple Azure HPC Cache instances, each one needs its own subnet.

ベスト プラクティスとして、キャッシュごとに新しいサブネットを作成することをお勧めします。The best practice is to create a new subnet for each cache. キャッシュを作成する過程で新しい仮想ネットワークとサブネットを作成できます。You can create a new virtual network and subnet as part of creating the cache.

DNS アクセスDNS access

キャッシュからその仮想ネットワークの外部のリソースにアクセスするためには、DNS が必要です。The cache needs DNS to access resources outside of its virtual network. 使用するリソースによっては、カスタマイズした DNS サーバーをセットアップし、そのサーバーと Azure DNS サーバーとの間の転送を構成する必要があります。Depending on which resources you are using, you might need to set up a customized DNS server and configure forwarding between that server and Azure DNS servers:

  • Azure Blob Storage のエンドポイントなど内部のリソースにアクセスするには、Azure ベースの DNS サーバーが必要です。To access Azure Blob storage endpoints and other internal resources, you need the Azure-based DNS server.
  • オンプレミスのストレージにアクセスするためには、ストレージのホスト名を解決できるカスタム DNS サーバーを構成する必要があります。To access on-premises storage, you need to configure a custom DNS server that can resolve your storage hostnames. キャッシュを作成する に、これを実行する必要があります。You must do this before you create the cache.

Blob Storage だけを使用するのであれば、Azure に用意されている既定の DNS サーバーをキャッシュに使用できます。If you only use Blob storage, you can use the default Azure-provided DNS server for your cache. 一方、Azure 外部のストレージまたは他のリソースにアクセスする必要がある場合は、カスタム DNS サーバーを作成し、Azure 固有の解決要求は Azure DNS サーバーに転送するようそのカスタム DNS サーバーを構成する必要があります。However, if you need access to storage or other resources outside of Azure, you should create a custom DNS server and configure it to forward any Azure-specific resolution requests to the Azure DNS server.

カスタム DNS サーバーを使用するには、キャッシュを作成する前に、次のセットアップ手順を行う必要があります。To use a custom DNS server, you need to do these setup steps before you create your cache:

  • Azure HPC Cache がホストされる仮想ネットワークを作成します。Create the virtual network that will host the Azure HPC Cache.

  • DNS サーバーを作成します。Create the DNS server.

  • DNS サーバーをキャッシュの仮想ネットワークに追加します。Add the DNS server to the cache's virtual network.

    Azure portal の仮想ネットワークに DNS サーバーを追加するには、次の手順に従います。Follow these steps to add the DNS server to the virtual network in the Azure portal:

    1. Azure portal で仮想ネットワークを開きます。Open the virtual network in the Azure portal.
    2. サイドバーの [設定] メニューで [DNS サーバー] を選択します。Choose DNS servers from the Settings menu in the sidebar.
    3. [カスタム] を選択します。Select Custom
    4. フィールドに DNS サーバーの IP アドレスを入力します。Enter the DNS server's IP address in the field.

単純な DNS サーバーを使用して、利用可能なすべてのキャッシュ マウント ポイント間でクライアント接続を負荷分散することもできます。A simple DNS server also can be used to load balance client connections among all the available cache mount points.

Azure 仮想ネットワークと DNS サーバーの構成について詳しくは、「Azure 仮想ネットワーク内のリソースの名前解決」を参照してください。Learn more about Azure virtual networks and DNS server configurations in Name resolution for resources in Azure virtual networks.

アクセス許可Permissions

アクセス許可に関連したこれらの前提条件は、キャッシュの作成を始める前に確認しておいてください。Check these permission-related prerequisites before starting to create your cache.

  • キャッシュ インスタンスで仮想ネットワーク インターフェイス (NIC) を作成できる必要があります。The cache instance needs to be able to create virtual network interfaces (NICs). キャッシュを作成するユーザーは、NIC を作成できるだけの権限をサブスクリプションにおいて有している必要があります。The user who creates the cache must have sufficient privileges in the subscription to create NICs.

  • Blob Storage を使用する場合、Azure HPC Cache には、ストレージ アカウントにアクセスするための承認が必要です。If using Blob storage, Azure HPC Cache needs authorization to access your storage account. Azure ロールベースのアクセス制御 (Azure RBAC) を使用して、Blob Storage へのアクセス権をキャッシュに与えます。Use Azure role-based access control (Azure RBAC) to give the cache access to your Blob storage. 2 つのロールが必要です。ストレージ アカウント共同作成者とストレージ BLOB データ共同作成者です。Two roles are required: Storage Account Contributor and Storage Blob Data Contributor.

    ロールを追加するには、ストレージ ターゲットを追加する手順に従ってください。Follow the instructions in Add storage targets to add the roles.

ストレージ インフラストラクチャStorage infrastructure

キャッシュは、Azure BLOB コンテナー、NFS ハードウェア ストレージのエクスポート、および NFS でマウントされた ADLS BLOB コンテナー (現在プレビュー段階) をサポートしています。The cache supports Azure Blob containers, NFS hardware storage exports, and NFS-mounted ADLS blob containers (currently in preview). キャッシュを作成した後で、ストレージ ターゲットを追加します。Add storage targets after you create the cache.

ストレージの種類ごとに特定の前提条件があります。Each storage type has specific prerequisites.

Blob Storage の要件Blob storage requirements

お使いのキャッシュで Azure Blob Storage の使用を希望する場合、互換性のあるストレージ アカウントに加え、空の BLOB コンテナーか、Azure HPC Cache フォーマットのデータが事前設定されたコンテナーが必要です (Azure Blob Storage にデータを移動する方法を参照)。If you want to use Azure Blob storage with your cache, you need a compatible storage account and either an empty Blob container or a container that is populated with Azure HPC Cache formatted data as described in Move data to Azure Blob storage.

注意

NFS でマウントされた Blob Storage には、異なる要件が適用されます。Different requirements apply to NFS-mounted blob storage. 詳細については、ADLS-NFS ストレージの要件に関するセクションを参照してください。Read ADLS-NFS storage requirements for details.

ストレージ ターゲットを追加する前にアカウントを作成してください。Create the account before attempting to add a storage target. ターゲットを追加するときに、新しいコンテナーを作成できます。You can create a new container when you add the target.

互換性のあるストレージ アカウントを作成するには、次の設定を使用します。To create a compatible storage account, use these settings:

  • パフォーマンス: StandardPerformance: Standard
  • アカウントの種類: StorageV2 (汎用 v2)Account kind: StorageV2 (general purpose v2)
  • レプリケーション:ローカル冗長ストレージ (LRS)Replication: Locally redundant storage (LRS)
  • アクセス層 (既定): ホットAccess tier (default): Hot

キャッシュと同じ場所にあるストレージ アカウントの使用をお勧めします。It's a good practice to use a storage account in the same location as your cache.

また、「アクセス許可」で前述のように、キャッシュ アプリケーションには、Azure Storage アカウントへのアクセス権を与える必要があります。You also must give the cache application access to your Azure storage account as mentioned in Permissions, above. ストレージ ターゲットの追加」の手順に従い、必要なアクセス ロールをキャッシュに与えます。Follow the procedure in Add storage targets to give the cache the required access roles. ストレージ アカウント所有者ではない場合は、この手順を所有者に依頼してください。If you are not the storage account owner, have the owner do this step.

NFS ストレージの要件NFS storage requirements

NFS ストレージ システム (たとえば、オンプレミスのハードウェア NAS システム) を使用している場合は、次の要件を満たしていることを確認します。If using an NFS storage system (for example, an on-premises hardware NAS system), make sure it meets these requirements. これらの設定を確認するには、ストレージ システム (またはデータ センター) のネットワーク管理者またはファイアウォール マネージャーとの協力が必要な場合があります。You might need to work with the network administrators or firewall managers for your storage system (or data center) to verify these settings.

注意

キャッシュが NFS ストレージ システムに対して十分なアクセス権を持っていない場合、ストレージ ターゲットの作成は失敗します。Storage target creation will fail if the cache has insufficient access to the NFS storage system.

詳細については「 NAS 構成と NFS ストレージ ターゲットの問題のトラブルシューティング 」をご参照ください。More information is included in Troubleshoot NAS configuration and NFS storage target issues.

  • ネットワーク接続: Azure HPC Cache には、キャッシュ サブネットと NFS システムのデータ センター間の高帯域幅ネットワーク アクセスが必要です。Network connectivity: The Azure HPC Cache needs high-bandwidth network access between the cache subnet and the NFS system's data center. ExpressRoute または同様のアクセスが推奨されます。ExpressRoute or similar access is recommended. VPN を使用している場合は、TCP MSS を 1350 でクランプして大きなパケットがブロックされないように構成する必要があります。If using a VPN, you might need to configure it to clamp TCP MSS at 1350 to make sure large packets are not blocked. VPN 設定のトラブルシューティングの詳細については、VPN のパケット サイズの制限 に関する追加ヘルプをご参照ください。Read VPN packet size restrictions for additional help troubleshooting VPN settings.

  • ポート アクセス: キャッシュには、ストレージ システム上の特定の TCP/UDP ポートへのアクセスが必要です。Port access: The cache needs access to specific TCP/UDP ports on your storage system. ストレージの種類によってポート要件は異なります。Different types of storage have different port requirements.

    ストレージ システムの設定を確認するには、次の手順を実行します。To check your storage system's settings, follow this procedure.

    • ストレージ システムに rpcinfo コマンドを発行して、必要なポートを確認します。Issue an rpcinfo command to your storage system to check the needed ports. 次のコマンドを使って、ポートを一覧表示し、関連する結果の書式を設定しますThe command below lists the ports and formats the relevant results in a table. ( <storage_IP> という表現の部分にはシステムの IP アドレスを使用してください)。(Use your system's IP address in place of the <storage_IP> term.)

      このコマンドは、NFS インフラストラクチャがインストールされている任意の Linux クライアントから発行できます。You can issue this command from any Linux client that has NFS infrastructure installed. クラスター サブネット内のクライアントを使用する場合は、サブネットとストレージ システム間の接続を検証するためにも役立ちます。If you use a client inside the cluster subnet, it also can help verify connectivity between the subnet and the storage system.

      rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
      

    rpcinfo クエリによって返されるすべてのポートで、Azure HPC Cache のサブネットからの無制限のトラフィックが許可されていることを確認します。Make sure that all of the ports returned by the rpcinfo query allow unrestricted traffic from the Azure HPC Cache's subnet.

    • rpcinfo コマンドを使用できない場合は、次の一般的に使用されるポートで受信および送信トラフィックが許可されていることを確認します。If you can't use the rpcinfo command, make sure that these commonly used ports allow inbound and outbound traffic:

      ProtocolProtocol PortPort サービスService
      TCP/UDPTCP/UDP 111111 rpcbindrpcbind
      TCP/UDPTCP/UDP 20492049 NFSNFS
      TCP/UDPTCP/UDP 40454045 nlockmgrnlockmgr
      TCP/UDPTCP/UDP 40464046 mountdmountd
      TCP/UDPTCP/UDP 40474047 statusstatus

      一部のシステムでは、これらのサービスに別のポート番号を使用しています。確認するには、ストレージ システムのドキュメントを参照してください。Some systems use different port numbers for these services - consult your storage system's documentation to be sure.

    • ファイアウォール設定で、これらのすべての必要なポートでトラフィックが許可されていることを確認します。Check firewall settings to be sure that they allow traffic on all of these required ports. Azure で使用されているファイアウォールとデータ センターのオンプレミス ファイアウォールを必ず確認してください。Be sure to check firewalls used in Azure as well as on-premises firewalls in your data center.

  • ルート アクセス (読み取り/書き込み): キャッシュからは、ユーザー ID 0 としてバックエンド システムに接続されます。Root access (read/write): The cache connects to the back-end system as user ID 0. ストレージ システムで次の設定を確認します。Check these settings on your storage system:

    • no_root_squashを有効にする:Enable no_root_squash. このオプションを選択すると、リモート ルート ユーザーは、ルートによって所有されているファイルにアクセスできるようになります。This option ensures that the remote root user can access files owned by root.

    • エクスポート ポリシーをチェックして、キャッシュのサブネットからのルート アクセスに制限がないことを確認してください。Check export policies to make sure they do not include restrictions on root access from the cache's subnet.

    • ストレージに別のエクスポートのサブディレクトリであるエクスポートがある場合、キャッシュにパスの最下位セグメントへのルート アクセスがあることをご確認ください。If your storage has any exports that are subdirectories of another export, make sure the cache has root access to the lowest segment of the path. 詳細については、NFS ストレージ ターゲットのトラブルシューティングに関するアーティクルに記載されているディレクトリ パスのルートアクセス をご参照ください。Read Root access on directory paths in the NFS storage target troubleshooting article for details.

  • NFS バックエンド ストレージは、互換性のあるハードウェア プラットフォームおよびソフトウェア プラットフォームである必要があります。NFS back-end storage must be a compatible hardware/software platform. 詳細については、Azure HPC Cache チームにお問い合わせください。Contact the Azure HPC Cache team for details.

NFS でマウントされた Blob (ADLS-NFS) Storage の要件 (プレビュー段階)NFS-mounted blob (ADLS-NFS) storage requirements (PREVIEW)

Azure HPC Cache では、NFS プロトコルでマウントされた BLOB コンテナーをストレージ ターゲットとして使用することもできます。Azure HPC Cache also can use a blob container mounted with the NFS protocol as a storage target.

注意

Azure Blob Storage での NFS 3.0 プロトコルのサポートはパブリック プレビューの段階にあります。NFS 3.0 protocol support for Azure Blob storage is in public preview. 可用性は制限されており、機能は今後、一般公開された後で変更される可能性があります。Availability is restricted, and features might change between now and when the feature becomes generally available. 実稼働システムではプレビュー テクノロジを使用しないでください。Do not use preview technology in production systems.

このプレビュー機能の詳細については、Azure Blob Storage での NFS 3.0 プロトコルのサポートに関するページを参照してください。Read more about this preview feature in NFS 3.0 protocol support in Azure Blob storage.

ストレージ アカウントの要件は、ADLS-NFS Blob Storage ターゲットと標準 Blob Storage ターゲットで異なります。The storage account requirements are different for an ADLS-NFS blob storage target and for a standard blob storage target. ネットワーク ファイル システム (NFS) 3.0 プロトコルを使用した Blob Storage のマウントに関するページの手順に従って、NFS 対応のストレージ アカウントを作成および構成します。Follow the instructions in Mount Blob storage by using the Network File System (NFS) 3.0 protocol carefully to create and configure the NFS-enabled storage account.

ここでは、手順の概要について説明します。This is a general overview of the steps. これらの手順は変更される可能性があるため、現在の詳細については、常に ADLS-NFS の手順に関するページを参照してください。These steps might change, so always refer to the ADLS-NFS instructions for current details.

  1. 必要な機能が、作業を予定しているリージョンで利用できることを確認します。Make sure that the features you need are available in the regions where you plan to work.

  2. サブスクリプションに対して NFS プロトコル機能を有効にします。Enable the NFS protocol feature for your subscription. ストレージ アカウントを作成する 前に、この手順を実行します。Do this before you create the storage account.

  3. ストレージ アカウント用のセキュリティで保護された仮想ネットワーク (VNet) を作成します。Create a secure virtual network (VNet) for the storage account. NFS が有効なストレージ アカウントと Azure HPC Cache には、同じ仮想ネットワークを使用する必要があります。You should use the same virtual network for your NFS-enabled storage account and for your Azure HPC Cache. (キャッシュと同じサブネットは使用しないでください。)(Do not use the same subnet as the cache.)

  4. ストレージ アカウントを作成します。Create the storage account.

    • 標準 Blob Storage アカウント用のストレージ アカウント設定を使用する代わりに、操作方法に関するドキュメントに記載されている手順に従ってください。Instead of the using the storage account settings for a standard blob storage account, follow the instructions in the how-to document. サポートされているストレージ アカウントの種類は、Azure リージョンによって異なる場合があります。The type of storage account supported might vary by Azure region.

    • [ネットワーク] セクションで、作成したセキュリティで保護された仮想ネットワーク内のプライベート エンドポイントを選択します (推奨)。または、セキュリティで保護された VNet からのアクセスが制限されているパブリック エンドポイントを選択します。In the Networking section, choose a private endpoint in the secure virtual network you created (recommended), or choose a public endpoint with restricted access from the secure VNet.

    • NFS アクセスを有効にする場合は、必ず [詳細設定] セクションを完了してください。Do not forget to complete the Advanced section, where you enable NFS access.

    • アクセス許可」で前述のように、キャッシュ アプリケーションには、Azure Storage アカウントへのアクセス権を与えます。Give the cache application access to your Azure storage account as mentioned in Permissions, above. ストレージ ターゲットを初めて作成するときに、この操作を行うことができます。You can do this the first time you create a storage target. ストレージ ターゲットの追加」の手順に従い、必要なアクセス ロールをキャッシュに与えます。Follow the procedure in Add storage targets to give the cache the required access roles.

      ストレージ アカウント所有者ではない場合は、この手順を所有者に依頼してください。If you are not the storage account owner, have the owner do this step.

Azure CLI アクセスを設定する (省略可能)Set up Azure CLI access (optional)

Azure コマンドライン インターフェイス (Azure CLI) から Azure HPC Cache を作成または管理する場合は、CLI ソフトウェアと HPC キャッシュ拡張機能をインストールする必要があります。If you want to create or manage Azure HPC Cache from the Azure command-line interface (Azure CLI), you need to install the CLI software and the hpc-cache extension. Azure HPC Cache 向けに Azure CLI を設定する」の手順に従います。Follow the instructions in Set up Azure CLI for Azure HPC Cache.

次のステップNext steps