Hinzufügen von Speicherzielen

Speicherziele sind Back-End-Speicher für Dateien, auf die über einen Azure HPC Cache zugegriffen wird. Sie können NFS-Speicher hinzufügen, z. B. ein lokales Hardwaresystem, oder Daten in Azure Blob Storage speichern.

Sie können 10 verschiedene Speicherziele für jeden Cache definieren, außerdem können größere Caches bis zu 20 Speicherziele unterstützen.

Der Cache stellt alle Speicherziele in einem aggregierten Namespace dar. Die Namespacepfade werden separat konfiguriert, nachdem Sie die Speicherziele hinzugefügt haben.

Beachten Sie, dass der Zugriff auf die Speicherexporte vom virtuellen Netzwerk Ihres Caches aus möglich sein muss. Für einen lokalen Hardwarespeicher müssen Sie möglicherweise einen DNS-Server einrichten, der Hostnamen für den NFS-Speicherzugriff auflösen kann. Weitere Informationen finden Sie unter DNS-Zugriff.

Fügen Sie nach dem Erstellen des Caches Speicherziele hinzu. Folgen Sie diesem Prozess:

  1. Erstellen des Caches
  2. Definieren eines Speicherziels (Informationen in diesem Artikel)
  3. Erstellen Sie die clientseitigen Pfade (für den aggregierten Namespace).

Je nachdem, welche Art von Speicher verwendet wird, weist das Verfahren zum Hinzufügen eines Speicherziels geringfügige Unterschiede auf. Details zu beiden Szenarien finden Sie unten.

Korrekte Cachegröße zur Unterstützung Ihrer Speicherziele

Die Anzahl der unterstützten Speicherziele hängt von der Cachegröße ab, die beim Erstellen des Caches festgelegt wird. Die Cachekapazität ist eine Kombination aus Durchsatzkapazität (in GB/s) und Speicherkapazität (in TB).

  • Bis zu 10 Speicherziele: Ein Standardcache mit dem kleinsten oder mittleren Cachespeicherwert für den ausgewählten Durchsatz kann maximal 10 Speicherziele haben.

    Wenn Sie beispielsweise einen Durchsatz von 2 GB/Sekunde und nicht die höchste Cachespeichergröße auswählen, unterstützt Ihr Cache maximal zehn Speicherziele.

  • Bis zu 20 Speicherziele:

    • Alle Caches mit hohem Durchsatz (mit vorkonfigurierten Cachespeichergrößen) können bis zu 20 Speicherziele unterstützen.
    • Standardcaches können bis zu 20 Speicherziele unterstützen, wenn Sie die höchste verfügbare Cachegröße für den ausgewählten Durchsatzwert auswählen. (Wenn Sie Azure CLI verwenden, wählen Sie die höchste gültige Cachegröße für Ihre Cache-SKU aus.)

Weitere Informationen zu Durchsatz- und Cachegrößeneinstellungen finden Sie unter Festlegen der Cachekapazität.

Auswählen des richtigen Speicherzieltyps

Sie können zwischen drei Speicherzieltypen wählen: NFS, Blob und ADLS-NFS. Wählen Sie den Typ aus, der dem Speichersystemtyp entspricht, mit dem Sie Ihre Dateien während dieses HPC Cache-Projekts speichern.

Hinzufügen eines neuen Azure Blobspeicherziels

Für ein neues Blobspeicherziel ist ein leerer Blobcontainer oder ein Container erforderlich, der mit Daten im Format des Azure HPC Cache-Clouddateisystems aufgefüllt ist. Weitere Informationen zum Vorabladen eines Blobcontainers finden Sie unter Daten in Azure-Blobspeicher verschieben.

Im Azure-Portal finden Sie auf der Seite Speicherziel hinzufügen die Option, mit der Sie einen neuen Blobcontainer direkt vor dem Hinzufügen erstellen können.

Hinweis

Öffnen Sie im Azure-Portal Ihre Cache-Instanz, und klicken Sie in der linken Seitenleiste auf Speicherziele.

screenshot of the settings > storage target page, with two existing storage targets in a table and a highlight around the + add storage target button above the table

Auf der Seite Speicherziele werden alle vorhandenen Ziele und ein Link zum Hinzufügen eines neuen Ziels aufgelistet.

Klicken Sie auf die Schaltfläche Speicherziel hinzufügen.

screenshot of the add storage target page, populated with information for a new Azure Blob storage target

Geben Sie diese Informationen ein, um einen Azure Blobcontainer zu definieren.

  • Name des Speicherziels: Legen Sie einen Namen fest, der dieses Speicherziel im Azure HPC Cache identifiziert.

  • Zieltyp: Wählen Sie Blob aus.

  • Speicherkonto: Wählen Sie das Speicherkonto aus, das Sie verwenden möchten.

    Sie müssen die Cache-Instanz wie unter Add the access roles (Hinzufügen der Zugriffsrollen) beschrieben für den Zugriff auf das Speicherkonto autorisieren.

    Informationen zur Art des Speicherkontos, das Sie verwenden können, finden Sie unter Blobspeicheranforderungen.

  • Speichercontainer: Wählen Sie den Blobcontainer für dieses Ziel aus, oder klicken Sie auf Neu erstellen.

    screenshot of dialog to specify name and access level (private) for new container

Klicken Sie abschließend auf OK, um das Speicherziel hinzuzufügen.

Hinweis

Wenn Ihre Speicherkontofirewall so festgelegt ist, dass der Zugriff nur auf „ausgewählte Netzwerke“ eingeschränkt wird, verwenden Sie die temporäre Problemumgehung, die unter Problemumgehung für die Firewalleinstellungen von Blobspeicherkonten dokumentiert ist.

Hinzufügen der Zugriffssteuerungsrollen zu Ihrem Konto

Azure HPC Cache verwendet die rollenbasierte Zugriffssteuerung in Azure (Azure Role-Based Access Control, Azure RBAC), um den Cachedienst für den Zugriff auf Ihr Speicherkonto für Azure-Blobspeicherziele zu autorisieren.

Der Besitzer des Speicherkontos muss die Rollen Speicherkontomitwirkender und Mitwirkender an Storage-Blobdaten für den Benutzer „HPC Cache-Ressourcenanbieter“ explizit hinzufügen.

Sie können dies im Voraus erledigen, oder indem Sie auf einen Link auf der Portalseite klicken, auf der Sie ein Blobspeicherziel hinzufügen. Denken Sie daran, dass es bis zu fünf Minuten dauern kann, bis die Rolleneinstellungen über die Azure-Umgebung bereitgestellt werden. Warten Sie nach dem Hinzufügen der Rollen einige Minuten, bevor Sie ein Speicherziel erstellen.

  1. Öffnen Sie Zugriffssteuerung (IAM) für Ihr Speicherkonto.

  2. Wählen Sie Hinzufügen>Rollenzuweisung hinzufügen aus, um den Bereich „Rollenzuweisung hinzufügen“ zu öffnen.

  3. Weisen Sie die folgenden Rollen nacheinander zu. Ausführliche Informationen finden Sie unter Zuweisen von Azure-Rollen über das Azure-Portal.

    Einstellung Wert
    Rollen Mitwirkender von Speicherkonto
    Mitwirkender an Speicherblobdaten
    Zugriff zuweisen zu HPC Cache-Ressourcenanbieter

    Add role assignment page

    Hinweis

    Wenn Sie den HPC Cache-Ressourcenanbieter nicht finden können, suchen Sie stattdessen nach der Zeichenfolge „storagecache“. Dies war vor GA ein Name für den Dienstprinzipal.

Hinzufügen eines neuen NFS-Speicherziels

Ein NFS-Speicherziel verfügt über andere Einstellungen als ein Blobspeicherziel, einschließlich einer Nutzungsmodelleinstellung, die dem Cache mitteilt, wie Daten aus diesem Speichersystem gespeichert werden.

Screenshot of add storage target page with NFS target defined

Hinweis

Stellen Sie vor dem Erstellen eines NFS-Speicherziels sicher, dass das Speichersystem über den Azure HPC Cache zugänglich ist und die Berechtigungsanforderungen erfüllt. Das Erstellen des Speicherziels schlägt fehl, wenn der Cache auf das Speichersystem nicht zugreifen kann. Einzelheiten dazu finden Sie in NFS-Speicheranforderungen und Behandeln von Problemen mit der NAS-Konfiguration und dem NFS-Speicherziel.

Auswählen eines Nutzungsmodells

Wenn Sie ein Speicherziel erstellen, das NFS zum Erreichen des Speicherziels verwendet, müssen Sie ein Nutzungsmodell für dieses Ziel auswählen. Dieses Modell bestimmt, wie Ihre Daten zwischengespeichert werden.

Weitere Informationen zu diesen Einstellungen finden Sie unter Grundlegendes zu Nutzungsmodellen.

Mit den integrierten HPC Cache-Nutzungsmodellen können Sie zwischen kurzen Reaktionszeiten und dem Risiko veralteter Daten abwägen. Wenn Sie die Geschwindigkeit von Dateilesevorgängen optimieren möchten, spielt es für Sie möglicherweise keine Rolle, ob die Dateien im Cache mit den Back-End-Dateien abgeglichen werden. Wenn Sie jedoch sicherstellen möchten, dass Ihre Dateien immer den Dateien im Remotespeicher entsprechen, wählen Sie ein Modell aus, bei dem regelmäßig eine Überprüfung durchgeführt wird.

Hinweis

Caches mit hohem Durchsatz unterstützen nur Cachelesevorgänge.

Die folgenden drei Optionen decken die meisten Situationen ab:

  • Read heavy, infrequent writes (Leseintensiv, unregelmäßige Schreibvorgänge): Der Lesezugriff auf Dateien wird beschleunigt, die statisch sind oder selten geändert werden.

    Mit dieser Option werden Dateien aus Lesevorgängen des Clients zwischengespeichert, aber Schreibvorgänge des Clients werden sofort an den Back-End-Speicher übergeben. Im Cache gespeicherte Dateien werden nicht automatisch mit den Dateien auf dem NFS-Speichervolume verglichen.

    Verwenden Sie diese Option nicht, wenn das Risiko besteht, dass eine Datei direkt im Speichersystem geändert werden kann, ohne sie zuvor in den Cache zu schreiben. In diesem Fall ist die zwischengespeicherte Version der Datei nicht mit der Back-End-Datei synchron.

  • Mehr als 15 % Schreibvorgänge: Diese Option beschleunigt die Lese-und Schreibleistung.

    Die Lese- und Schreibvorgänge des Clients werden zwischengespeichert. Es wird davon ausgegangen, dass Dateien im Cache neuer als die Dateien im Back-End-Speichersystem sind. Zwischengespeicherte Dateien werden nur alle acht Stunden mit den Dateien im Back-End-Speicher verglichen. Geänderte Dateien im Cache werden in das Back-End-Speichersystem geschrieben, nachdem sie sich 20 Minuten lang ohne weitere Änderungen im Cache befunden haben.

    Verwenden Sie diese Option nicht, wenn Clients das Back-End-Speichervolume direkt einbinden, da dies zu veralteten Dateien führen kann.

  • Clients umgehen den Cache und schreiben in das NFS-Ziel: Wählen Sie diese Option aus, wenn Clients in Ihrem Workflow Daten direkt in das Speichersystem schreiben, ohne zuvor in den Cache zu schreiben, oder wenn Sie die Datenkonsistenz verbessern möchten.

    Die von Clients angeforderten Dateien werden zwischengespeichert, aber alle Änderungen an diesen Dateien vom Client werden sofort an das Back-End-Speichersystem übergeben. Die Dateien im Cache werden regelmäßig anhand der Back-End-Versionen auf Änderungen überprüft. Durch diese Überprüfung wird die Datenkonsistenz bewahrt, wenn Dateien direkt oder im Speichersystem geändert werden, anstatt über den Cache.

Weitere Informationen zu den anderen Optionen finden Sie unter Grundlegendes zu Nutzungsmodellen.

In dieser Tabelle werden die Unterschiede zwischen allen Nutzungsmodellen zusammengefasst:

Nutzungsmodell Cachemodus Back-End-Überprüfung Maximale Zurückschreibverzögerung
Leseintensiv, unregelmäßige Schreibvorgänge Lesen Nie Keine
Mehr als 15 % Schreibvorgänge Lesen/Schreiben 8 Stunden 1 Stunde
Clients umgehen den Cache Lesen 30 Sekunden Keine
Mehr als 15 % Schreibvorgänge, regelmäßige Back-End-Überprüfungen (30 Sekunden) Lesen/Schreiben 30 Sekunden 1 Stunde
Mehr als 15 % Schreibvorgänge, regelmäßige Back-End-Überprüfungen (60 Sekunden) Lesen/Schreiben 60 Sekunden 1 Stunde
Mehr als 15 % Schreibvorgänge, regelmäßiges Zurückschreiben Lesen/Schreiben 30 Sekunden 30 Sekunden
Viele Lesezugriffe, Überprüfung des Sicherungsservers alle 3 Stunden Lesen 3 Stunden Keine

Hinweis

Der Wert Back-End-Überprüfung wird angezeigt, wenn der Cache Dateien automatisch mit Quelldateien im Remotespeicher vergleicht. Sie können jedoch einen Vergleich auslösen, indem Sie eine Clientanforderung senden, die einen readdirplus-Vorgang für das Back-End-Speichersystem enthält. Readdirplus ist eine standardmäßige NFS-API (erweiterter Lesevorgang), die Verzeichnismetadaten zurückgibt. Durch diesen Vorgang wird erzwungen, dass der Cache Dateien vergleicht und aktualisiert.

Erstellen eines NFS-Speicherziels

Öffnen Sie im Azure-Portal Ihre Cache-Instanz, und klicken Sie in der linken Seitenleiste auf Speicherziele.

screenshot of the settings > storage target page, with two existing storage targets in a table and a highlight around the + add storage target button above the table

Auf der Seite Speicherziele werden alle vorhandenen Ziele und ein Link zum Hinzufügen eines neuen Ziels aufgelistet.

Klicken Sie auf die Schaltfläche Speicherziel hinzufügen.

Screenshot of add storage target page with NFS target defined

Geben Sie diese Informationen für ein NFS-gestütztes Speicherziel an:

  • Name des Speicherziels: Legen Sie einen Namen fest, der dieses Speicherziel im Azure HPC Cache identifiziert.

  • Zieltyp: Wählen Sie NFS aus.

  • Hostname: Geben Sie die IP-Adresse oder den vollqualifizierten Domänennamen Ihres NFS-Speichersystems ein. (Verwenden Sie nur dann einen Domänennamen, wenn Ihr Cache Zugriff auf einen DNS-Server hat, der den Namen auflösen kann.) Sie können mehrere IP-Adressen eingeben, wenn mehrere IP-Adressen auf Ihr Speichersystem verweisen.

  • Nutzungsmodell: Wählen Sie auf der Grundlage Ihres Workflows eines der oben im Abschnitt Auswählen eines Nutzungsmodells beschriebenen Datencacheprofile aus.

Klicken Sie abschließend auf OK, um das Speicherziel hinzuzufügen.

Hinzufügen eines neuen ADLS-NFS-Speicherziels

ADLS-NFS-Speicherziele verwenden Azure-Blobcontainer, die das NFS 3.0-Protokoll (Network File System, Netzwerkdateisystem) unterstützen.

Weitere Informationen zu diesem Feature finden Sie unter NFS 3.0-Protokollunterstützung.

ADLS-NFS-Speicherziele weisen einige Ähnlichkeiten mit Blobspeicherzielen und NFS-Speicherzielen auf. Zum Beispiel:

  • Ähnlich wie bei einem Blobspeicherziel müssen Sie Azure HPC Cache die Berechtigung erteilen, um auf Ihr Speicherkonto zuzugreifen.

  • Wie bei einem NFS-Speicherziel müssen Sie ein Nutzungsmodell für den Cache festlegen.

  • Da NFS-fähige Blobcontainer über eine mit NFS kompatible hierarchische Struktur verfügen, müssen Sie den Cache nicht zum Erfassen von Daten verwenden, und die Container können von anderen NFS-Systemen gelesen werden.

    Sie können Daten vorab in einen ADLS-NFS-Container laden, diesen dann als Speicherziel zu einem HPC-Cache hinzufügen, und später außerhalb eines HPC-Caches auf diese Daten zugreifen. Wenn Sie einen Standard-Blobcontainer als Speicherziel für einen HPC-Cache verwenden, werden die Daten in einem geschützten Format geschrieben, und Sie können nur mit anderen mit Azure HPC Cache kompatiblen Produkten auf diese Daten zugreifen.

Bevor Sie ein ADLS-NFS-Speicherziel erstellen können, müssen Sie ein NFS-fähiges Speicherkonto erstellen. Führen Sie die Schritte unter Voraussetzungen für Azure HPC Cache und die Anweisungen unter Einbinden eines Blobspeichers mit einem NFS aus. Wenn Sie nicht dasselbe virtuelle Netzwerk für Cache und Speicherkonto verwenden, stellen Sie sicher, dass das VNET des Caches auf das VNET des Speicherkontos zugreifen kann.

Nachdem Sie Ihr Speicherkonto eingerichtet haben, können Sie einen neuen Container erstellen, wenn Sie das Speicherziel erstellen.

Weitere Informationen zu dieser Konfiguration finden Sie unter Verwenden von in NFS eingebundenen Blobspeicher mit Azure HPC Cache.

Öffnen Sie die Seite Speicherziel hinzufügen im Azure-Portal, um ein ADLS-NFS-Speicherziel zu erstellen. (Andere Methoden befinden sich in der Entwicklung.)

Screenshot of add storage target page with ADLS-NFS target defined

Geben Sie die folgenden Informationen ein.

  • Name des Speicherziels: Legen Sie einen Namen fest, der dieses Speicherziel im Azure HPC Cache identifiziert.

  • Zieltyp: Wählen Sie ADLS-NFS aus.

  • Speicherkonto: Wählen Sie das Speicherkonto aus, das Sie verwenden möchten. Wenn Ihr NFS-fähiges Speicherkonto nicht in der Liste angezeigt wird, stellen Sie sicher, dass es die Voraussetzungen erfüllt und dass der Cache auf dieses zugreifen kann.

    Sie müssen die Cache-Instanz wie unter Add the access roles (Hinzufügen der Zugriffsrollen) beschrieben für den Zugriff auf das Speicherkonto autorisieren.

  • Speichercontainer: Wählen Sie den NFS-fähigen Blobcontainer für dieses Ziel aus, oder klicken Sie auf Neu erstellen.

  • Nutzungsmodell: Wählen Sie auf der Grundlage Ihres Workflows eines der oben im Abschnitt Auswählen eines Nutzungsmodells beschriebenen Datencacheprofile aus.

Klicken Sie abschließend auf OK, um das Speicherziel hinzuzufügen.

Anzeigen von Speicherzielen

Sie können das Azure-Portal oder die Azure CLI verwenden, um die bereits für Ihren Cache definierten Speicherziele anzuzeigen.

Öffnen Sie im Azure-Portal Ihre Cache-Instanz, und klicken Sie in der linken Seitenleiste unter der Überschrift „Einstellungen“ auf Speicherziele. Auf der Seite „Speicherziele“ werden alle vorhandenen Ziele sowie Steuerelemente zum Hinzufügen oder Löschen von Zielen aufgelistet.

Klicken Sie auf den Namen eines Speicherziels, um seine zugehörige Detailseite zu öffnen.

Weitere Informationen finden Sie unter Ansehen und Verwalten von Speicherzielen und Hinzufügen von Speicherzielen.

Nächste Schritte

Nachdem Sie Speicherziele erstellt haben, fahren Sie mit diesen Aufgaben fort, um Ihren Cache einsatzbereit zu machen:

Wenn Sie Einstellungen aktualisieren müssen, können Sie ein Speicherziel bearbeiten.