Azure HDInsight kümeleri ile kullanılacak depolama seçeneklerini karşılaştırma
HDInsight kümeleri oluştururken birkaç farklı Azure depolama hizmeti arasında seçim yapabilirsiniz:
- HDInsight ile Azure Blob depolama
- HDInsight ile Azure Data Lake Storage 2. Nesil
- HDInsight ile Azure Data Lake Storage 1. Nesil
Bu makalede, bu depolama türlerine ve bunların benzersiz özelliklerine genel bir bakış sağlanır.
Depolama türleri ve özellikleri
Aşağıdaki tabloda, HDInsight'ın farklı sürümleriyle desteklenen Azure Depolama hizmetleri özetlenmektedir:
| Depolama birimi hizmeti | Hesap türü | Ad Alanı Türü | Desteklenen hizmetler | Desteklenen performans katmanları | Desteklenen erişim katmanları | HDInsight Sürümü | Küme türü |
|---|---|---|---|---|---|---|---|
| Azure Data Lake Storage 2. Nesil | Genel amaçlı v2 | Hiyerarşik (dosya sistemi) | Blob | Standart | Sık Erişimli, Seyrek Erişimli, Arşiv | 3.6+ | Spark 2.1 ve 2.2 dışında tümü |
| Azure Depolama | Genel amaçlı v2 | Object | Blob | Standart | Sık Erişimli, Seyrek Erişimli, Arşiv | 3.6+ | Tümünü |
| Azure Depolama | Genel amaçlı v1 | Object | Blob | Standart | Yok | Tümü | Tümü |
| Azure Depolama | Blob Depolama** | Object | Blok Blobu | Standart | Sık Erişimli, Seyrek Erişimli, Arşiv | Tümü | Tümü |
| Azure Data Lake Storage Gen1 | Yok | Hiyerarşik (dosya sistemi) | Geçersiz | Yok | Geçersiz | Yalnızca 3.6 | HBase dışında tümü |
| Azure Depolama | Blok Blobu | Object | Blok Blobu | Premium | Yok | 3.6+ | Yalnızca hızlandırılmış yazma işlemlerine sahip HBase |
| Azure Data Lake Storage 2. Nesil | Blok Blobu | Hiyerarşik (dosya sistemi) | Blok Blobu | Premium | Yok | 3.6+ | Yalnızca hızlandırılmış yazma işlemlerine sahip HBase |
**HDInsight kümeleri için yalnızca ikincil depolama hesapları Blob türünde olabilir Depolama Sayfa Blobu desteklenen bir depolama seçeneği değildir.
Azure Depolama hesap türleri hakkında daha fazla bilgi için bkz. Azure depolama hesabına genel bakış
Azure Depolama erişim katmanları hakkında daha fazla bilgi için bkz. Azure Blob depolama: Premium (önizleme), Sık Erişimli, Seyrek Erişimli ve Arşiv depolama katmanları
Birincil ve isteğe bağlı ikincil depolama için hizmet birleşimlerini kullanarak kümeler oluşturabilirsiniz. Aşağıdaki tabloda, HDInsight'ta şu anda desteklenen küme depolama yapılandırmaları özetlenmektedir:
| HDInsight Sürümü | Birincil Depolama | İkincil Depolama | Desteklenir |
|---|---|---|---|
| 3.6 & 4.0 | Genel Amaçlı V1, Genel Amaçlı V2 | Genel Amaçlı V1, Genel Amaçlı V2, Blob Depolama(Blok Blobları) | Evet |
| 3.6 & 4.0 | Genel Amaçlı V1, Genel Amaçlı V2 | Data Lake Storage Gen2 | No |
| 3.6 & 4.0 | Data Lake Storage 2. Nesil* | Data Lake Storage Gen2 | Evet |
| 3.6 & 4.0 | Data Lake Storage 2. Nesil* | Genel Amaçlı V1, Genel Amaçlı V2, Blob Depolama(Blok Blobları) | Evet |
| 3.6 & 4.0 | Data Lake Storage Gen2 | Data Lake Storage Gen1 | No |
| 3.6 | Data Lake Storage Gen1 | Data Lake Storage Gen1 | Evet |
| 3.6 | Data Lake Storage Gen1 | Genel Amaçlı V1, Genel Amaçlı V2, Blob Depolama(Blok Blobları) | Evet |
| 3.6 | Data Lake Storage Gen1 | Data Lake Storage Gen2 | No |
| 4,0 | Data Lake Storage Gen1 | Tümü | No |
| 4,0 | Genel Amaçlı V1, Genel Amaçlı V2 | Data Lake Storage Gen1 | No |
*=Tümü küme erişimi için aynı yönetilen kimliği kullanacak şekilde ayarlı olduğu sürece bu bir veya birden çok Data Lake Storage 2. Nesil olabilir.
Dekont
Data Lake Storage 2. Nesil birincil depolama Spark 2.1 veya 2.2 kümeleri için desteklenmez.
Veri çoğaltma
Azure HDInsight müşteri verilerini depolamaz. Bir küme için birincil depolama araçları, ilişkili depolama hesaplarıdır. Kümenizi mevcut bir depolama hesabına ekleyebilir veya küme oluşturma işlemi sırasında yeni bir depolama hesabı oluşturabilirsiniz. Yeni bir hesap oluşturulursa, yerel olarak yedekli depolama (LRS) hesabı olarak oluşturulur ve Güven Merkezi'nde belirtilenler de dahil olmak üzere bölge içi veri yerleşimi gereksinimlerini karşılar.
HDInsight'ınız ile ilişkili depolama hesabının LRS veya Güven Merkezi'nde belirtilen başka bir depolama seçeneği olduğundan emin olarak HDInsight'ın verileri tek bir bölgede depolayacak şekilde düzgün yapılandırıldığını doğrulayabilirsiniz.
Dekont
Çalışan bir kümenin birincil veya ikincil depolama hesabının Azure Data Lake Storage 2. Nesil özellikleriyle yükseltilmesi desteklenmez. Mevcut bir HDInsight kümesinin depolama türünü Data Lake Storage 2. Nesil olarak değiştirmek için kümeyi yeniden oluşturmanız ve hiyerarşik ad alanı etkin bir depolama hesabı seçmeniz gerekir.