HDInsight'ta Azure Data Lake Storage 1. Nesil genel bakış
Azure Data Lake Storage 1. Nesil, büyük veri analizi iş yükleri için kurumsal ölçekte bir hiper ölçek deposudur. Azure Data Lake'i kullanarak her boyutta, türde ve alım hızında veri yakalayabilirsiniz. Operasyonel ve keşif analizi için tek bir yerde.
WebHDFS uyumlu REST API'lerini kullanarak Hadoop'tan (HDInsight kümesiyle kullanılabilir) erişim Data Lake Storage 1. Nesil. Data Lake Storage 1. Nesil, depolanan verilerde analizi etkinleştirmek üzere tasarlanmıştır ve veri analizi senaryolarında performans için ayarlanır. 1. Nesil, gerçek dünyadaki kurumsal kullanım örnekleri için gerekli olan özellikleri içerir. Bu özellikler arasında güvenlik, yönetilebilirlik, uyarlanabilirlik, güvenilirlik ve kullanılabilirlik yer alır.
Azure Data Lake Storage 1. Nesil hakkında daha fazla bilgi için bkz. Azure Data Lake Storage 1. Nesil ayrıntılı Genel Bakış.
Data Lake Storage 1. Nesil temel özellikleri şunlardır.
Hadoop ile uyumluluk
Data Lake Storage 1. Nesil, HDFS ve Hadoop ortamıyla uyumlu bir Apache Hadoop dosya sistemidir. WebHDFS API'sini kullanan HDInsight uygulamaları veya hizmetleri Data Lake Storage 1. Nesil ile kolayca tümleştirebilir. Data Lake Storage 1. Nesil, uygulamalar için WebHDFS uyumlu bir REST arabirimi de sunar.
Data Lake Storage 1. Nesil depolanan veriler, Hadoop analiz çerçeveleri kullanılarak kolayca analiz edilebilir. MapReduce veya Hive gibi çerçeveler. Azure HDInsight kümeleri sağlanabilir ve Data Lake Storage 1. Nesil depolanan verilere doğrudan erişecek şekilde yapılandırılabilir.
Sınırsız depolama, petabayt boyutlu dosyalar
Data Lake Storage 1. Nesil sınırsız depolama alanı sağlar ve analiz için farklı veri türlerini depolamak için uygundur. Hesap boyutlarına veya dosya boyutlarına sınır getirmez. Veya bir veri gölünde depolanabilecek veri miktarı. Tek tek dosyaların boyutu kilobayttan petabayt'a kadar değişir ve bu da Data Lake Storage 1. Nesil her tür veriyi depolamak için harika bir seçimdir. Veriler, birden çok kopya yapılarak durabilir bir şekilde depolanır. Ayrıca, verilerin veri gölünde ne kadar süreyle depolanabileceği konusunda herhangi bir sınırlama yoktur.
Büyük veri analizi için performans ayarlama
Data Lake Storage 1. Nesil analiz sistemleri için tasarlanmıştır. Büyük miktarda veriyi sorgulamak ve analiz etmek için yüksek aktarım hızı gerektiren sistemler. Veri gölü, bir dosyanın bölümlerini birkaç ayrı depolama sunucusuna dağıtır. Verileri analiz ederken bu kurulum, dosya paralel olarak okunduğunda okuma aktarım hızını artırır.
Kuruluş için hazır olma: Yüksek oranda kullanılabilir ve güvenli
Data Lake Storage 1. Nesil endüstri standardı kullanılabilirlik ve güvenilirlik sağlar. Veri varlıkları durabilir bir şekilde depolanır: yedekli kopyalar beklenmeyen hatalara karşı koruma sağlar. Kuruluşlar, mevcut veri platformlarının önemli bir parçası olarak çözümlerinde Data Lake Storage 1. Nesil kullanabilir.
Data Lake Storage 1. Nesil ayrıca depolanan veriler için kurumsal düzeyde güvenlik sağlar. Daha fazla bilgi için bkz. Azure Data Lake Storage 1. Nesil'da verilerin güvenliğini sağlama.
Esnek veri yapıları
Data Lake Storage 1. Nesil, önceki dönüştürmelere gerek kalmadan tüm verileri olduğu gibi yerel biçiminde depolayabilir. Data Lake Storage 1. Nesil, veriler yüklenmeden önce bir şemanın tanımlanmasını gerektirmez. Tek tek analiz çerçevesi verileri yorumlar ve analiz sırasında bir şema tanımlar. Data Lake Storage 1. Nesil yapılandırılmış verileri işleyebilir. Yarı yapılandırılmış ve yapılandırılmamış veriler.
veriler için Data Lake Storage 1. Nesil kapsayıcılar temelde klasörler ve dosyalardır. Depolanan veriler üzerinde SDK'ları, Azure portalını ve Azure PowerShell'i kullanarak çalışırsınız. Bu arabirimler ve kapsayıcılarla depoya koyulan veriler, herhangi bir veri türünü depolayabilir. Data Lake Storage 1. Nesil, verilerin türüne göre özel bir işleme yapmaz.
Data Lake Storage 1. Nesil'de veri güvenliği
Data Lake Storage 1. Nesil kimlik doğrulaması için Microsoft Entra Id kullanır ve verilerinize erişimi yönetmek için erişim denetim listelerini (ACL' ler) kullanır.
| Özellik | Açıklama |
|---|---|
| Kimlik doğrulaması | Data Lake Storage 1. Nesil, Data Lake Storage 1. Nesil depolanan tüm veriler için kimlik ve erişim yönetimi için Microsoft Entra Id ile tümleşir. Tümleştirme nedeniyle Data Lake Storage 1. Nesil tüm Microsoft Entra özelliklerinden yararlanır. Bu özellikler şunlardır: çok faktörlü kimlik doğrulaması, Koşullu Erişim ve Azure rol tabanlı erişim denetimi. Ayrıca, uygulama kullanımı izleme, güvenlik izleme ve uyarı vb. Data Lake Storage 1. Nesil, REST arabiriminde kimlik doğrulaması için OAuth 2.0 protokolünü destekler. Bkz. Microsoft Entra Id kullanarak Azure Data Lake Storage 1. Nesil içinde kimlik doğrulaması |
| Erişim denetimi | Data Lake Storage 1. Nesil, WebHDFS protokolü tarafından sunulan POSIX stili izinleri destekleyerek erişim denetimi sağlar. ACL’ler kök klasörde, alt klasörlerde ve dosyalarda tek tek etkinleştirilebilir. ACL'lerin Data Lake Storage 1. Nesil bağlamında nasıl çalıştığı hakkında daha fazla bilgi için bkz. Data Lake Storage 1. Nesil'de erişim denetimi. |
| Şifreleme | Data Lake Storage 1. Nesil ayrıca hesapta depolanan veriler için şifreleme sağlar. Data Lake Storage 1. Nesil hesabı oluştururken şifreleme ayarlarını belirtirsiniz. Verilerinizin şifrelenmesini veya şifreleme olmamasını seçebilirsiniz. Daha fazla bilgi için bkz. Data Lake Storage 1. Nesil'de şifreleme. Şifrelemeyle ilgili yapılandırma sağlama yönergeleri için bkz. Azure portalını kullanarak Azure Data Lake Storage 1. Nesil kullanmaya başlama. |
Data Lake Storage 1. Nesil'da verilerin güvenliğini sağlama hakkında daha fazla bilgi edinmek için bkz. Azure Data Lake Storage 1. Nesil'de depolanan verilerin güvenliğini sağlama.
Data Lake Storage 1. Nesil ile uyumlu uygulamalar
Data Lake Storage 1. Nesil, Hadoop ortamındaki çoğu açık kaynak bileşenle uyumludur. Ayrıca diğer Azure hizmetleriyle sorunsuz şekilde tümleştirilir. Data Lake Storage 1. Nesil hem açık kaynak bileşenlerle hem de diğer Azure hizmetleriyle nasıl kullanılabileceğini öğrenmek için aşağıdaki bağlantıları izleyin.
- Bkz. Azure Data Lake Storage 1. Nesil ile çalışan açık kaynaklı büyük veri uygulamaları.
- Daha geniş bir senaryo yelpazesine olanak tanımak için Data Lake Storage 1. Nesil diğer Azure hizmetleriyle nasıl kullanacağınızı anlamak için bkz. Azure Data Lake Storage 1. Nesil diğer Azure hizmetleriyle tümleştirme.
- Büyük veri gereksinimleri için bkz. Azure Data Lake Storage 1. Nesil kullanma.
Data Lake Storage 1. Nesil dosya sistemi (adl://)
Hadoop ortamlarında Data Lake Storage 1. Nesil yeni dosya sistemi olan AzureDataLakeFilesystem (adl://) üzerinden erişebilirsiniz. Kullanan adl:// uygulama ve hizmetlerin performansı, şu anda WebHDFS'de kullanılamayabilecek şekilde iyileştirilebilir. Sonuç olarak, önerilen adl:// kullanarak en iyi performansı elde etme esnekliğine sahip olursunuz. Veya WebHDFS API'sini doğrudan kullanmaya devam ederek mevcut kodu koruyun. Azure HDInsight, Data Lake Storage 1. Nesil en iyi performansı sağlamak için AzureDataLakeFilesystem'ın tüm avantajlarından yararlanır.
Aşağıdaki URI'yi kullanarak Data Lake Storage 1. Nesil verilerinize erişin:
adl://<data_lake_storage_gen1_name>.azuredatalakestore.net
Data Lake Storage 1. Nesil verilerine erişme hakkında daha fazla bilgi için bkz. Depolanan verilerde kullanılabilen eylemler.