Přidání cílů úložiště

Storage jsou back-endové úložiště pro soubory, ke kterým se přistupuje prostřednictvím Azure HPC Cache. Můžete přidat úložiště NFS (například místní hardwarový systém) nebo ukládat data do objektů blob Azure.

Pro libovolnou mezipaměť můžete definovat 10 různých cílů úložiště a větší mezipaměti mohou podporovat až 20 cílů úložiště.

Mezipaměť představuje všechny cíle úložiště v jednom agregované oboru názvů. Cesty k oboru názvů se konfigurují samostatně po přidání cílů úložiště.

Nezapomeňte, že exporty úložiště musí být přístupné z virtuální sítě mezipaměti. V případě místního hardwarového úložiště možná budete muset nastavit server DNS, který dokáže překládá názvy hostitelů pro přístup k úložišti NFS. Další informace najdete v části Přístup DNS.

Po vytvoření mezipaměti přidejte cíle úložiště. Postupujte podle tohoto procesu:

1. Vytvoření mezipaměti
2. Definování cíle úložiště (informace v tomto článku)
3. Vytvořte cesty ke klientovi (pro agregovaný obor názvů).

Postup přidání cíle úložiště se mírně liší v závislosti na typu úložiště, které používá. Podrobnosti o každé z nich jsou uvedené níže.

Klikněte na následující obrázek a podívejte se na video s ukázkou vytvoření mezipaměti a přidání cíle úložiště z Azure Portal.

Správné nastavení velikosti mezipaměti pro podporu cílů úložiště

Počet podporovaných cílů úložiště závisí na velikosti mezipaměti, která se nastaví při vytváření mezipaměti. Kapacita mezipaměti je kombinací kapacity propustnosti (v GB/s) a kapacity úložiště (v TB).

• Až 10 cílů úložiště – Standardní mezipaměť s nejmenší nebo střední hodnotou úložiště mezipaměti pro vybranou propustnost může mít maximálně 10 cílů úložiště.

  Pokud například zvolíte propustnost 2 GB za sekundu a nevybíráte nejvyšší velikost úložiště mezipaměti, vaše mezipaměť podporuje maximálně 10 cílů úložiště.

• Až 20 cílů úložiště –

  • Všechny mezipaměti s vysokou propustností (s předem nakonfigurovanou velikostí úložiště mezipaměti) mohou podporovat až 20 cílů úložiště.
  • Mezipaměti na úrovni Standard mohou podporovat až 20 cílů úložiště, pokud zvolíte nejvyšší dostupnou velikost mezipaměti pro vybranou hodnotu propustnosti. (Pokud používáte Azure CLI, zvolte nejvyšší platnou velikost mezipaměti pro skladové položky mezipaměti.)

Další informace o nastavení propustnosti a velikosti mezipaměti najdete v části Nastavení kapacity mezipaměti.

Volba správného typu cíle úložiště

Můžete si vybrat ze tří typů cílů úložiště: NFS, Blob a ADLS-NFS. Zvolte typ, který odpovídá druhu úložného systému, který budete používat k ukládání souborů během tohoto HPC Cache projektu.

• NFS – Vytvořte cíl úložiště NFS pro přístup k datům v systému úložiště připojeném k síti (NAS). Může to být místní systém úložiště nebo jiný typ úložiště, který je přístupný pro systém souborů NFS.

  • Požadavky: Požadavky na úložiště NFS
  • Pokyny: Přidání nového cíle úložiště NFS

• Objekt blob – Cíl úložiště objektů blob slouží k ukládání pracovních souborů do nového kontejneru objektů blob v Azure. Tento kontejner je možné číst nebo zapisovat pouze z Azure HPC Cache.

  • Požadavky: Požadavky na úložiště objektů blob
  • Pokyny: Přidání nového cíle úložiště objektů blob v Azure

• ADLS-NFS – Cíl úložiště ADLS-NFS přistupuje k datům z kontejneru objektů blob s podporou NFS. Kontejner můžete předem načíst pomocí standardních příkazů NFS a soubory si můžete přečíst později pomocí NFS.

  • Požadavky: Požadavky na úložiště ADLS-NFS
  • Pokyny: Přidání nového cíle úložiště ADLS-NFS

Přidání nového cíle úložiště objektů blob v Azure

Nový cíl úložiště objektů blob potřebuje prázdný kontejner objektů blob nebo kontejner naplněný daty ve Azure HPC Cache formátu cloudového systému souborů. Další informace o předběžném načtení kontejneru objektů blob najdete v části Přesun dat do úložiště objektů blob v Azure.

Stránka Azure Portal Přidat cíl úložiště obsahuje možnost vytvořit nový kontejner objektů blob těsně před jeho přidáním.

az hpc-cache blob-storage-target add --resource-group "hpc-cache-group" \
    --cache-name "cache1" --name "blob-target1" \
    --storage-account "/subscriptions/<subscriptionID>/resourceGroups/myrgname/providers/Microsoft.Storage/storageAccounts/myaccountname" \
    --container-name "container1" --virtual-namespace-path "/blob1"

Přidání nového cíle úložiště NFS

Cíl úložiště NFS má jiná nastavení než cíl úložiště objektů blob, včetně nastavení modelu použití, které mezipaměti říká, jak ukládat data z tohoto systému úložiště.

Volba modelu využití

Když vytvoříte cíl úložiště, který k dosažení svého úložného systému používá systém souborů NFS, musíte pro tento cíl zvolit model použití. Tento model určuje způsob ukládání dat do mezipaměti.

Další podrobnosti o všech těchto nastaveních najdete v tématu Principy modelů použití.

HPC Cache integrované modely využití vám umožňují zvolit, jak rychle vyvážit reakci s rizikem získání zastaralých dat. Pokud chcete optimalizovat rychlost čtení souborů, nemusí vám být jedno, jestli jsou soubory v mezipaměti kontrolovány proti back-end souborům. Na druhou stranu, pokud chcete zajistit, aby vaše soubory byly vždy aktuální se vzdáleným úložištěm, zvolte model, který často kontroluje.

Tyto tři možnosti pokrývají většinu situací:

• Náročné čtení, občasné zápisy – urychluje přístup ke čtení souborů, které se staticky nebo zřídka mění.

  Tato možnost ukládá soubory z klientských čtení do mezipaměti, ale okamžitě předává zápisy klienta do back-end úložiště. Soubory uložené v mezipaměti nejsou automaticky porovnány se soubory na svazku úložiště NFS.

  Tuto možnost nepoužívejte, pokud hrozí riziko, že by se soubor mohl upravit přímo v systému úložiště, aniž by se nejprve zapisoval do mezipaměti. Pokud k tomu dojde, verze souboru uložená v mezipaměti nebude synchronizovaná s back-end souborem.

• Větší než 15 % zápisů – Tato možnost urychluje výkon čtení i zápisu.

  Čtení i zápisy klientů se uchová v mezipaměti. Předpokládá se, že soubory v mezipaměti jsou novější než soubory v systému back-endového úložiště. Soubory uložené v mezipaměti se automaticky kontroluují pouze proti souborům v back-end úložišti každých 8 hodin. Upravené soubory v mezipaměti se zapisou do back-endového systému úložiště poté, co byly v mezipaměti po dobu 20 minut bez dalších změn.

  Tuto možnost nepoužívejte, pokud klienti připojují back-endový svazek úložiště přímo, protože existuje riziko, že budou mít zastaralé soubory.

• Klienti zapisují do cílového systému souborů NFS a obcházejí mezipaměť – Tuto možnost vyberte, pokud klienti ve vašem pracovním postupu zapisují data přímo do systému úložiště bez předchozího zápisu do mezipaměti nebo pokud chcete optimalizovat konzistenci dat.

  Soubory, které klienti vyžádají, jsou uložené v mezipaměti, ale všechny změny těchto souborů z klienta se okamžitě předá do back-endového systému úložiště. U souborů v mezipaměti se často kontroluje, zda nejsou k dispozici aktualizace v back-endových verzích. Toto ověření udržuje konzistenci dat, pokud se soubory mění přímo v systému úložiště, a ne prostřednictvím mezipaměti.

Podrobnosti o dalších možnostech najdete v tématu Principy modelů použití.

Tato tabulka shrnuje rozdíly mezi všemi modely použití:

Vytvoření cíle úložiště NFS

az hpc-cache nfs-storage-target add --resource-group "hpc-cache-group" --cache-name "doc-cache0629" \
    --name nfsd1 --nfs3-target 10.0.0.4 --nfs3-usage-model WRITE_WORKLOAD_15 \
    --junction namespace-path="/nfs1/data1" nfs-export="/datadisk1" target-path=""

{- Finished ..
  "clfs": null,
  "id": "/subscriptions/<subscriptionID>/resourceGroups/hpc-cache-group/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "hpc-cache-group",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}

Přidání nového cíle úložiště ADLS-NFS

Cíle úložiště ADLS-NFS používají kontejnery Azure Blob, které podporují protokol NFS (Network File System) 3.0.

Další informace o této funkci najdete v podpoře protokolu NFS 3.0.

Cíle úložiště ADLS-NFS mají určité podobnosti s cíli úložiště objektů blob a jiné s cíli úložiště NFS. Například:

• Podobně jako v případě cíle úložiště objektů blob musíte Azure HPC Cache oprávnění pro přístup k vašemu účtu úložiště.

• Stejně jako cíl úložiště NFS je potřeba nastavit model využití mezipaměti.

• Vzhledem k tomu, že kontejnery objektů blob s podporou NFS mají hierarchickou strukturu kompatibilní s NFS, není nutné používat mezipaměť k ingestování dat a kontejnery jsou čitelné jinými systémy NFS.

  Data můžete předem načíst v kontejneru ADLS-NFS, pak je přidat do HPC Cache jako cíl úložiště a pak k datům přistupovat později mimo HPC Cache. Když jako cíl úložiště objektů blob použijete standardní HPC Cache objektů blob, data se zapisou ve speciálním formátu a budou přístupná jenom z jiných Azure HPC Cache kompatibilních produktů.

Než budete moci vytvořit cíl úložiště ADLS-NFS, musíte vytvořit účet úložiště s podporou NFS. Postupujte podle kroků v části Požadavky pro Azure HPC Cache a pokyny v tématu Připojení úložiště objektů blob pomocí systému souborů NFS. Pokud pro mezipaměť a účet úložiště nepoužívejte stejnou virtuální síť, ujistěte se, že virtuální síť mezipaměti má přístup k virtuální síti účtu úložiště.

Po nastavení účtu úložiště můžete při vytváření cíle úložiště vytvořit nový kontejner.

Další informace o této konfiguraci najdete v Azure HPC Cache úložiště objektů blob připojeného k systému souborů NFS.

Pokud chcete vytvořit cíl úložiště ADLS-NFS, otevřete stránku Přidat cíl úložiště v Azure Portal. (Další metody jsou ve vývoji.)

Zadejte tyto informace.

• Storage název cíle – nastavte název, který identifikuje tento cíl úložiště v mezipaměti prostředí Azure HPC.

• Cílový typ – vyberte adls-NFS.

• Storage účet – vyberte účet, který chcete použít. Pokud se v seznamu nezobrazí účet úložiště s povoleným systémem souborů NFS, ověřte, zda vyhovuje požadavkům a zda k němu má mezipaměť přístup.

  Pro přístup k účtu úložiště bude nutné autorizovat instanci mezipaměti, jak je popsáno v tématu Přidání rolí přístupu.

• Storage kontejner – vyberte kontejner objektů blob s povoleným systémem souborů NFS pro tento cíl nebo klikněte na vytvořit novou.

• Model využití – vyberte jeden z profilů ukládání dat do mezipaměti na základě pracovního postupu, který je popsaný v části Výběr modelu použití výše.

Po dokončení klikněte na tlačítko OK a přidejte tak cíl úložiště.

Zobrazit cíle úložiště

Pomocí Azure Portal nebo rozhraní příkazového řádku Azure můžete zobrazit cíle úložiště, které jsou už definované pro vaši mezipaměť.

az hpc-cache storage-target list --resource-group "scgroup" --cache-name "sc1"

$ az hpc-cache storage-target show --cache-name doc-cache0629 --name nfsd1

{
  "clfs": null,
  "id": "/subscriptions/<subscription_ID>/resourceGroups/scgroup/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "scgroup",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}
$

Další kroky

Po vytvoření cílů úložiště pokračujte v těchto úlohách, abyste mohli vaši mezipaměť připravit na použití:

• Nastavení agregovaného oboru názvů
• Připojení služby Azure HPC Cache
• Přesun dat do služby Azure Blob Storage

Pokud potřebujete aktualizovat nastavení, můžete cíl úložiště upravit.