Azure Data Lake Storage 2. Nesil'e giriş
Azure Data Lake Storage 2., Azure Blob Depolamaüzerine inşa edilmiş, büyük veri analizi için adanmış bir dizi özellik kümesidir.
Data Lake Storage 2. Azure Blob Depolama ile Azure Data Lake Storage 1. yeteneklerini söyleyecektir. örneğin, Data Lake Storage 2. dosya sistemi semantiğini, dosya düzeyi güvenliği ve ölçeği sağlar. Bu yetenekler BLOB depolama üzerinde oluşturulduğundan, yüksek kullanılabilirlik/olağanüstü durum kurtarma özellikleri sayesinde düşük maliyetli, katmanlı depolama alanı da alacaksınız.
Kurumsal büyük veri analizi için tasarlandı
Data Lake Storage 2. azure Depolama azure 'da kurumsal veri lakes oluşturma temelini oluşturur. başlangıçtan itibaren yüzlerce gigabit işleme petabaytlarca, çok büyük miktarlarda veriyi kolay bir şekilde yönetmenize olanak tanılarken, Data Lake Storage 2. birden fazla bilgi için başlangıç sürümünden tasarlanan.
Data Lake Storage 2. temel bir parçası, Blob depolamaya hiyerarşik bir ad alanının eklenmesinin bir parçasıdır. Hiyerarşik ad alanı, etkili veri erişimi için nesneleri/dosyaları bir dizin hiyerarşisi halinde düzenler. Ortak bir nesne deposu adlandırma kuralı, hiyerarşik bir dizin yapısını taklit etmek için adında eğik çizgiler kullanır. bu yapı Data Lake Storage 2. ile gerçek hale gelir. Dizini yeniden adlandırma veya silme gibi işlemler, dizinde tek Atomik meta veri işlemleri haline gelir. Dizinin ad önekini paylaşan tüm nesneleri listelemeye ve işlemeye gerek yoktur.
Data Lake Storage 2. Blob Storage üzerinde yapılar ve aşağıdaki yollarla performansı, yönetimi ve güvenliği geliştirir:
Verileri Analize bir önkoşul olarak kopyalamanız veya dönüştürmeniz gerekmiyorsa performans iyileştirilir. Blob depolamada düz ad alanı ile karşılaştırıldığında, hiyerarşik ad alanı, genel iş performansını artıran dizin yönetimi işlemlerinin performansını önemli ölçüde artırır.
Dosyaları dizinler ve alt dizinler aracılığıyla düzenleyebileceğiniz ve işleyebileceğiniz için Yönetim daha kolay hale getirir.
Dizinler veya tek dosyalarda POSIX izinleri tanımlayabilmeniz için güvenlik güvenliği uygulanabilir.
ayrıca, Data Lake Storage 2. düşük maliyetli Azure Blob Depolamaüzerine inşa edildiğinden çok maliyetli hale gelir. Ek özellikler, Azure 'da büyük veri analizlerini çalıştırmaya yönelik toplam sahip olma maliyetini daha düşüktür.
Data Lake Storage 2. temel özellikleri
Hadoop uyumlu erişim: Data Lake Storage 2., verileri bir Hadoop Dağıtılmış Dosya Sistemi (")ile yaptığınız gibi yönetmenizi ve erişmenize olanak tanır. Yeni ABFS sürücüsü (verilere erişmek için kullanılır) tüm Apache Hadoop ortamlarında kullanılabilir. Bu ortamlar Azure HDInsight, Azure Databricksve Azure SYNAPSE analizleriniiçerir.
POSIX Izinlerinin bir üst kümesi: Data Lake Gen2 için güvenlik modeli, Data Lake Storage 2. özgü bazı ayrıntı düzeyi ile birlikte ACL ve posıx izinlerini destekler. Ayarlar, Depolama Gezgini veya Hive ve Spark gibi çerçeveler aracılığıyla yapılandırılabilir.
Uygun maliyetli: Data Lake Storage 2. düşük maliyetli depolama kapasitesi ve işlemler sunar. Azure Blob Depolama yaşam döngüsü gibi özellikler yaşam döngüsü boyunca veri geçişleri olarak maliyetleri iyileştirir.
İyileştirilmiş sürücü: ABFS sürücüsü, büyük veri analizi için özel olarak iyileştirilmiştir . Karşılık gelen REST API 'Leri uç noktadan geliyor
dfs.core.windows.net.
Ölçeklenebilirlik
Azure Depolama, Data Lake Storage 2. veya Blob depolama arabirimlerine erişip erişemeyeceğini tasarlamayla ölçeklenebilir. Birçok eksabaytlarca veri depolayıp sunabilir. Bu depolama alanı miktarı, saniye başına giriş/çıkış işlemi (ıOPS) düzeyinde Gigabit/saniye (Gbps) cinsinden ölçülen aktarım hızı ile kullanılabilir. İşleme, hizmet, hesap ve dosya düzeylerinde ölçülen istek temelli gecikme süreleriyle yürütülür.
Maliyet uygunluğu
Data Lake Storage 2. Azure Blob Depolama üzerine inşa edildiğinden, depolama kapasitesi ve işlem maliyetleri düşüktür. Diğer bulut depolama hizmetlerinden farklı olarak, verileri analiz etmeden önce taşımanız veya dönüştürmeniz gerekmez. fiyatlandırma hakkında daha fazla bilgi için bkz. Azure Depolama fiyatlandırması.
Ayrıca, hiyerarşik ad alanı gibi özellikler birçok analiz işinin genel performansını önemli ölçüde artırır. Bu performans artışı, aynı miktarda veriyi işlemek için daha az işlem gücü yapmanız gerektiği anlamına gelir ve bu, uçtan uca analiz işi için daha düşük toplam sahip olma maliyeti (TCO) ile sonuçlanır.
Tek hizmet, birden çok kavram
Data Lake Storage 2. Azure Blob Depolama üzerinde oluşturulduğundan, birden çok kavram aynı paylaşılan şeyleri tanımlayabilir.
Aşağıdakiler, farklı kavramlarla açıklandığı gibi eşdeğer varlıklardır. Aksi belirtilmedikçe, bu varlıklar doğrudan eş anlamlı değildir:
| Konsept | Üst düzey kuruluş | Alt düzey kuruluş | Veri kapsayıcısı |
|---|---|---|---|
| Blob 'lar-genel amaçlı nesne depolaması | Kapsayıcı | Sanal dizin (yalnızca SDK-atomik düzenleme sağlamaz) | Blob |
| Azure Data Lake Storage 2. Analytics Depolama | Kapsayıcı | Dizin | Dosya |
desteklenen Blob Depolama özellikleri
tanılama günlüğü, erişim katmanlarıve blob Depolama yaşam döngüsü yönetim ilkeleri gibi Blob Depolama özellikler hesabınız için kullanılabilir. çoğu Blob Depolama özelliği tam olarak desteklenir, ancak bazı özellikler yalnızca önizleme düzeyinde desteklenir veya henüz desteklenmemektedir.
her Blob Depolama özelliğinin Data Lake Storage 2. nasıl desteklendiğini görmek için bkz. Azure Depolama hesaplarında blob Depolama özellik desteği.
Desteklenen Azure hizmeti tümleştirmeleri
Data Lake Storage gen2, çeşitli Azure hizmetlerini destekler. Bunları kullanarak verileri alabilir, analiz yapabilir ve görsel gösterimler oluşturabilirsiniz. desteklenen azure hizmetlerinin listesi için bkz. Azure Data Lake Storage 2. destekleyen azure hizmetleri.
Desteklenen açık kaynaklı platformlar
birçok açık kaynak platformu Data Lake Storage 2. destekler. tüm liste için, bkz. Azure Data Lake Storage 2. destekleyen açık kaynaklı platformlar.