Azure blob dosya sistemi sürücüsü (ABFS): Hadoop için adanmış bir Azure depolama sürücüsü
Azure Data Lake Storage 2. veri için birincil erişim yöntemlerinden biri Hadoop FileSystem'ı aracılığıyla yapılır. Data Lake Storage 2., Azure Blob depolama alanı erişiminin yeni bir sürücüye, Azure blob dosya sistemi sürücüsüne veya uygulamasına erişmesini sağlar ABFS . ABFS Apache Hadoop bir parçasıdır ve Hadoop 'un birçok ticari dağılımlarına dahil edilmiştir. Bu sürücüyü kullanarak, birçok uygulama ve çerçeve Data Lake Storage 2. açıkça başvuran hiçbir kod olmadan Azure Blob depolama alanındaki verilere erişebilir.
Önceki Özellik: Windows Azure Depolama Blobu sürücüsü
Windows Azure Depolama Blobu sürücüsü veya Lıbb sürücüsü , Azure Blob depolama için özgün desteği sağladı. Bu sürücü, Azure Blob depolama tarafından sunulan nesne deposu stil arabirimine dosya sistemi semantiğinin (Hadoop dosya arabirimi için gerekli olduğu gibi) eşlenmesinin karmaşık görevini gerçekleştirdi. Bu sürücü, bloblarda depolanan verilere yüksek performans erişimi sağlamak için bu modeli desteklemeye devam eder, ancak bu eşlemeyi gerçekleştiren önemli miktarda kod içerir ve devam etmek zordur. Ayrıca, dizinlere uygulandığında FileSystem. Rename () ve FileSystem. Delete () gibi bazı işlemler, sürücünün çok sayıda işlemi gerçekleştirmesini gerektirir (nesne, Dizin desteğinin olmamasından kaynaklanır) ve genellikle performansın düşmesine neden olur. ABFS sürücüsü, IDB 'nin devralınan eksiklerini aşmak için tasarlandı.
Azure blob dosya sistemi sürücüsü
Azure Data Lake Storage Rest arabirimi , Azure Blob depolama üzerinden dosya sistemi semantiğini destekleyecek şekilde tasarlanmıştır. Hadoop FileSystem aynı semantiğini desteklemek için de tasarlandığına göre, sürücüde karmaşık bir eşleme gereksinimi yoktur. Bu nedenle, Azure blob dosya sistemi sürücüsü (veya ABFS) REST API için bir boyutundaydı istemci Shim idir.
Ancak, sürücünün hala gerçekleştirmesi gereken bazı işlevler vardır:
Başvuru verilerine URI şeması
Hadoop içindeki diğer dosya sistemi uygulamalarıyla tutarlı olduğunda, ABFS sürücüsü kaynakların (dizinlerin ve dosyaların) tutarlı bir şekilde giderilmesi için kendi URI düzenini tanımlar. URI şeması Azure Data Lake Storage 2. URI 'Sini kullanın. URI yapısı: abfs[s]://file_system@account_name.dfs.core.windows.net/<path>/<path>/<file_name>
Yukarıdaki URI biçimini kullanarak, standart Hadoop araçları ve çerçeveleri bu kaynaklara başvurmak için kullanılabilir:
hdfs dfs -mkdir -p abfs://fileanalysis@myanalytics.dfs.core.windows.net/tutorials/flightdelays/data
hdfs dfs -put flight_delays.csv abfs://fileanalysis@myanalytics.dfs.core.windows.net/tutorials/flightdelays/data/
Dahili olarak, ABFS sürücüsü URI 'de belirtilen kaynakları dosya ve dizinlere çevirir ve bu başvurularla Azure Data Lake Storage REST API çağrıları yapar.
Kimlik Doğrulaması
ABFS sürücüsü, Hadoop uygulamasının Data Lake Storage 2. özellikli bir hesapta bulunan kaynaklara güvenli bir şekilde erişebilmesi için iki kimlik doğrulama biçimini destekler. Kullanılabilir kimlik doğrulama düzenlerinin tam ayrıntıları, Azure Depolama Güvenliği Kılavuzu'nda verilmiştir. Bunlar:
Paylaşılan anahtar: Bu, kullanıcıların hesaptaki tüm kaynaklara erişmesine izin verir. Anahtar şifrelenir ve Hadoop yapılandırmasında depolanır.
Azure Active Directory OAuth taşıyıcı belirteci: Azure AD taşıyıcı belirteçleri, son kullanıcının kimliği veya yapılandırılmış bir hizmet sorumlusu kullanılarak sürücü tarafından alınır ve yenilenir. Bu kimlik doğrulama modelini kullanarak tüm erişim, sağlanan belirteçle ilişkilendirilen kimlik kullanılarak çağrı başına ve atanan POSIX Access Control listesi (ACL) ile değerlendirilir.
Not
Azure Data Lake Storage 2. yalnızca Azure AD v 1.0 uç noktalarını destekler.
Yapılandırma
ABFS sürücüsüne yönelik tüm yapılandırma core-site.xml yapılandırma dosyasında depolanır. Ambarısağlayan Hadoop dağıtımları üzerinde, yapılandırma ayrıca Web portalı veya ambarı REST API kullanılarak yönetilebilir.
Desteklenen tüm yapılandırma girişlerinin ayrıntıları resmi Hadoop belgelerindebelirtilmiştir.
Hadoop belgeleri
ABFS sürücüsü resmi Hadoop belgelerinde tam olarak belgelenmiştir