Сравнение вариантов хранения для использования с кластерами Azure HDInsight

При создании кластеров HDInsight доступны несколько различных вариантов хранения Azure:

В этой статье предоставлен обзор типов хранилища и их уникальных функций.

Типы и характеристики хранилищ

В таблице ниже перечислены службы хранилища Azure, которые поддерживаются в различных версиях HDInsight.

Служба хранилища Тип учетной записи Тип пространства имен Поддерживаемые службы Поддерживаемые уровни производительности Поддерживаемые уровни доступа Версия HDInsight Тип кластера
Azure Data Lake Storage 2-го поколения Общего назначения версии 2 Иерархическая (файловая система) BLOB-объект Standard Горячий, холодный или архивный 3.6+ Все, кроме Spark 2.1 и 2.2
Хранилище Azure Общего назначения версии 2 Объект BLOB-объект Standard Горячий, холодный или архивный 3.6+ Все
Хранилище Azure Общего назначения версии 1 Объект BLOB-объект Standard Недоступно Все Все
Хранилище Azure Хранилище BLOB-объектов** Объект Блочный BLOB-объект Стандартный Горячий, холодный или архивный Все Все
Хранилище Azure Data Lake Storage 1-го поколения Н/Д Иерархическая (файловая система) Н/Д Н/Д Н/Д Только в версии 3.6 Все, кроме HBase
Хранилище Azure Блочный BLOB-объект Объект Блочный BLOB-объект Premium Недоступно 3.6+ Только HBase с ускоренной записью
Azure Data Lake Storage 2-го поколения Блочный BLOB-объект Иерархическая (файловая система) Блочный BLOB-объект Premium Недоступно 3.6+ Только HBase с ускоренной записью

** Для кластеров HDInsight тип BlobStorage могут иметь только вторичные учетные записи хранения; а страничные BLOB-объекты в качестве хранилища не поддерживаются.

Дополнительные сведения о типах учетных записей хранения Azure см. в статье Общие сведения об учетных записях хранения Azure.

Дополнительные сведения об уровнях доступности служб хранилища Azure см. в статье Хранилище BLOB-объектов Azure: горячий, холодный и архивный уровни.

Вы можете создавать кластеры, сочетая различные службы для основного и дополнительного хранилища. В таблице ниже перечислены конфигурации хранилища кластера, которые в настоящее время поддерживаются в HDInsight.

Версия HDInsight Основное хранилище Дополнительное хранилище Поддерживается
3,6 & 4,0 Общего назначения версии 1, и общего назначения версии 2 Общего назначения версии 1, и общего назначения версии 2, BlobStorage (блочные BLOB-объекты) Да
3,6 & 4,0 Общего назначения версии 1, и общего назначения версии 2 Data Lake Storage 2-го поколения Нет
3,6 & 4,0 Data Lake Storage 2-го поколения* Data Lake Storage 2-го поколения Да
3,6 & 4,0 Data Lake Storage 2-го поколения* Общего назначения версии 1, и общего назначения версии 2, BlobStorage (блочные BLOB-объекты) Да
3,6 & 4,0 Data Lake Storage 2-го поколения Azure Data Lake Storage 1-го поколения Нет
3,6 Azure Data Lake Storage 1-го поколения Azure Data Lake Storage 1-го поколения Да
3,6 Azure Data Lake Storage 1-го поколения Общего назначения версии 1, и общего назначения версии 2, BlobStorage (блочные BLOB-объекты) Да
3,6 Azure Data Lake Storage 1-го поколения Data Lake Storage 2-го поколения Нет
4,0 Azure Data Lake Storage 1-го поколения Любой Нет
4,0 Общего назначения версии 1, и общего назначения версии 2 Azure Data Lake Storage 1-го поколения Нет

* Это может быть одно или несколько хранилищ Data Lake Storage 2-го поколения, если все они настроены для использования одного управляемого удостоверения для доступа к кластеру.

Примечание

Data Lake Storage 2-го поколения не поддерживается в качестве основного хранилища для кластеров Spark 2.1 и 2.2.

Репликация данных

Azure HDInsight не хранит данные клиента. Основным средством хранения для кластера являются связанные учетные записи хранения. Вы можете подключить кластер к существующей учетной записи хранения или создать новую в процессе его создания. Новая учетная запись создается как учетная запись локально избыточного хранилища (LRS) и отвечает требованиям хранения данных в регионе, включая указанные в Центре управления безопасностью.

Чтобы проверить, правильно ли настроена служба HDInsight для хранения данных в одном регионе, убедитесь, что связанная с HDInsight учетная запись хранения является LRS или другим вариантом хранилища, указанным в Центре управления безопасностью.

Дальнейшие действия