Omówienie modeli użycia pamięci podręcznej

  • Artykuł

Modele użycia pamięci podręcznej umożliwiają dostosowanie sposobu przechowywania plików w usłudze Azure HPC Cache w celu przyspieszenia przepływu pracy.

Podstawowe pojęcia dotyczące buforowania plików

Buforowanie plików to sposób, w jaki usługa Azure HPC Cache przyspiesza żądania klientów. Korzysta z następujących podstawowych rozwiązań:

  • Buforowanie odczytu — usługa Azure HPC Cache przechowuje kopię plików żądanych przez klientów z systemu magazynu. Następnym razem, gdy klient zażąda tego samego pliku, usługa HPC Cache może udostępnić wersję w pamięci podręcznej zamiast ponownie pobrać plik z systemu magazynu zaplecza. Żądania zapisu są przekazywane do systemu magazynu zaplecza.

  • Buforowanie zapisu — opcjonalnie usługa Azure HPC Cache może przechowywać kopię wszelkich zmienionych plików wysyłanych z komputerów klienckich. Jeśli wielu klientów wprowadza zmiany w tym samym pliku w krótkim czasie, pamięć podręczna może zebrać wszystkie zmiany w pamięci podręcznej zamiast konieczności zapisywania każdej zmiany indywidualnie w systemie magazynu zaplecza. Po upływie określonego czasu bez zmian pamięć podręczna przenosi plik do długoterminowego systemu magazynowania.

  • Czasomierz weryfikacji — ustawienie czasomierza weryfikacji określa, jak często pamięć podręczna porównuje jego lokalną kopię pliku z wersją zdalną w systemie magazynu zaplecza. Jeśli kopia zaplecza jest nowsza niż kopia buforowana, pamięć podręczna pobiera kopię zdalną i zapisuje ją na potrzeby przyszłych żądań.

    Ustawienie czasomierza weryfikacji pokazuje, kiedy pamięć podręczna automatycznie porównuje pliki z plikami źródłowymi w magazynie zdalnym. Można jednak wymusić, aby usługa Azure HPC Cache porównywała pliki, wykonując operację katalogu zawierającą żądanie readdirplus. Readdirplus to standardowy interfejs API systemu plików NFS (nazywany również rozszerzonym odczytem), który zwraca metadane katalogu, co powoduje, że pamięć podręczna porównuje i aktualizuje pliki.

  • Czasomierz zapisu zwrotnego — w przypadku pamięci podręcznej z buforowaniem odczytu i zapisu czasomierz zapisu jest maksymalnym czasem w sekundach oczekiwania pamięci podręcznej przed skopiowaniem zmienionego pliku do systemu magazynu zaplecza.

Modele użycia wbudowane w usługę Azure HPC Cache mają różne wartości dla tych ustawień, dzięki czemu można wybrać najlepszą kombinację dla danej sytuacji.

Wybieranie odpowiedniego modelu użycia dla przepływu pracy

Należy wybrać model użycia dla każdego używanego miejsca docelowego magazynu NFS. Cele usługi Azure Blob Storage mają wbudowany model użycia, którego nie można dostosować.

Modele użycia usługi HPC Cache umożliwiają wybranie sposobu równoważenia szybkiej reakcji z ryzykiem uzyskania nieaktualnych danych. Jeśli chcesz zoptymalizować szybkość odczytu plików, możesz nie dbać o to, czy pliki w pamięci podręcznej są sprawdzane względem plików zaplecza. Z drugiej strony, jeśli chcesz upewnić się, że pliki są zawsze aktualne w magazynie zdalnym, wybierz model i ustaw czasomierz weryfikacji na małą liczbę, aby często sprawdzać.

Są to opcje modelu użycia:

  • Buforowanie tylko do odczytu — użyj tej opcji, jeśli chcesz przyspieszyć dostęp do odczytu do plików. Wybierz tę opcję, gdy przepływ pracy obejmuje minimalne operacje zapisu, takie jak 0% do 5%.

    Ta opcja buforuje odczyty klienta, ale nie zapisuje w pamięci podręcznej. Operacje zapisu są przekazywane do magazynu zaplecza.

    Pliki przechowywane w pamięci podręcznej nie są automatycznie porównywane z plikami na woluminie magazynu NFS. (Przeczytaj opis czasomierza weryfikacji powyżej, aby dowiedzieć się, jak je porównać ręcznie).

    Podczas wybierania opcji buforowania tylko do odczytu możesz zmienić czasomierz weryfikacji. Wartość domyślna to 30 sekund. Wartość musi być liczbą całkowitą (bez dziesiętnych) z przedziału od 1 do 31536000 sekund (1 rok) włącznie.

  • Buforowanie odczytu i zapisu — ta opcja buforuje zarówno operacje odczytu, jak i zapisu. W przypadku korzystania z tej opcji większość klientów ma uzyskiwać dostęp do plików za pośrednictwem usługi Azure HPC Cache zamiast bezpośredniego instalowania magazynu zaplecza. Buforowane pliki będą miały ostatnie zmiany, które nie zostały jeszcze skopiowane do zaplecza.

    W tym modelu użycia pliki w pamięci podręcznej są domyślnie sprawdzane tylko względem plików w magazynie zaplecza co osiem godzin. Przyjmuje się, że buforowana wersja pliku jest bardziej aktualna. Zmodyfikowany plik w pamięci podręcznej jest zapisywany w systemie magazynu zaplecza po tym, jak domyślnie był w pamięci podręcznej przez godzinę.

    Podczas wybierania opcji Buforowanie odczytu i zapisu można zmienić zarówno czasomierz weryfikacji, jak i czasomierz zapisu zwrotnego. Wartość domyślna czasomierza weryfikacji to 28 800 sekund (8 godzin). Wartość musi być liczbą całkowitą (bez dziesiętnych) z zakresu od 1 do 31536000 włącznie. Wartość domyślna czasomierza zapisu zwrotnego wynosi 3600 sekund (1 godzina). Wartość musi być liczbą całkowitą (bez dziesiętnych) z przedziału od 1 do 31536000 sekund (1 rok) włącznie.

W tej tabeli przedstawiono podsumowanie różnic w modelu użycia:

Model użycia tryb Buforowanie Czasomierz weryfikacji Czasomierz zapisu zwrotnego
Buforowanie tylko do odczytu Przeczytaj 30 sekund Brak
Buforowanie odczytu i zapisu Czytaj/zapisz 8 godzin 1 godzina

Ostrzeżenie

Zmiana modeli użycia powoduje przerwy w działaniu usługi. Klienci usługi HPC Cache nie będą otrzymywać odpowiedzi podczas przejścia modelu użycia. Jeśli musisz zmienić modele użycia, zaleca się, aby zmiana została wprowadzona podczas zaplanowanego okna obsługi, aby zapobiec przerwom w działaniu klienta.

Jeśli masz pytania dotyczące najlepszego modelu użycia dla przepływu pracy usługi Azure HPC Cache, skontaktuj się z przedstawicielem platformy Azure lub otwórz wniosek o pomoc techniczną.

Napiwek

Narzędzie jest dostępne do zapisywania określonych pojedynczych plików z powrotem do miejsca docelowego magazynu bez zapisywania całej zawartości pamięci podręcznej. Dowiedz się więcej na temat skryptu flush_file.py w temacie Dostosowywanie zapisywania zwrotnego plików w usłudze Azure HPC Cache.

Następne kroki