Apache Spark™ kümesiyle Hive meta veri deposu kullanma

Önemli

Bu özellik şu anda önizlemededir. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları, beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz . AKS üzerinde Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen AskHDInsight'ta ayrıntıları içeren bir istek gönderin ve Azure HDInsight Topluluğu hakkında daha fazla güncelleştirme için bizi takip edin.

Verileri ve meta veri depolarını birden çok hizmette paylaşmak çok önemlidir. HIVE meta veri deposunda yaygın olarak kullanılan meta veri depolarından biri. AKS üzerinde HDInsight, kullanıcıların dış meta veri deposuna bağlanmasına olanak tanır. Bu adım, HDInsight kullanıcılarının ekosistemdeki diğer hizmetlere sorunsuz bir şekilde bağlanmasını sağlar.

AKS üzerinde Azure HDInsight, üretim kümeleri için önerilen özel meta depoları destekler. Önemli adımlar şunlardır:

1. Azure SQL veritabanı oluşturma
2. Kimlik bilgilerini depolamak için bir anahtar kasası oluşturma
3. Apache Spark™ ile AKS kümesinde HDInsight oluştururken Meta veri deposu yapılandırma
4. Dış Meta Veri Deposu'nda çalışma (Veritabanlarını gösterir ve seçme sınırı 1'i yapın).

Kümeyi oluştururken HDInsight hizmetinin dış meta veri deposuna bağlanması ve kimlik bilgilerinizi doğrulaması gerekir.

Azure SQL veritabanı oluşturma

1. HDInsight kümesi için özel hive meta veri deposu ayarlamadan önce mevcut bir Azure SQL Veritabanı oluşturun veya var olan bir Azure SQL Veritabanı sahip olun.

   Not

   Şu anda HIVE meta veri deposu için yalnızca Azure SQL Veritabanı destekliyoruz. Hive sınırlaması nedeniyle meta veri deposu veritabanı adında "-" (kısa çizgi) karakteri desteklenmez.

Kimlik bilgilerini depolamak için bir anahtar kasası oluşturma

1. Azure Key Vault oluşturun.

   Key Vault'un amacı, SQL veritabanı oluşturma sırasında ayarlanan SQL Server yönetici parolasını depolamanıza olanak sağlamaktır. AKS platformundaki HDInsight, kimlik bilgileriyle doğrudan ilgilenmez. Bu nedenle, önemli kimlik bilgilerinizi Azure Key Vault'ta depolamanız gerekir. Azure Key Vault oluşturma adımlarını öğrenin.

2. Azure Key Vault oluşturma işleminin ardından aşağıdaki rolleri atayın

   Object	Role	Açıklamalar
   Kullanıcı Tarafından Atanan Yönetilen Kimlik (HDInsight kümesi tarafından kullanılan UAMI ile aynı)	Key Vault Gizli Dizi Kullanıcısı	UAMI'ye rol atamayı öğrenin
   Kullanıcı (Azure Key Vault'ta gizli dizi oluşturan)	Key Vault Yönetici istrator	Kullanıcıya rol atamayı öğrenin.

   Not

   Bu rol olmadan kullanıcı gizli dizi oluşturamaz.

3. Gizli anahtar oluşturma

   Bu adım, SQL server yönetici parolanızı Azure Key Vault'ta gizli dizi olarak tutmanızı sağlar. Gizli dizi eklerken parolanızı (yönetici için SQL veritabanında sağlanan parolanın aynısını) "Değer" alanına ekleyin.

   

   

   Not

   Küme oluşturma sırasında buna ihtiyaç duyacağınız için gizli dizi adını not edin.

HDInsight Spark kümesi oluştururken Meta veri deposu yapılandırma

1. Küme oluşturmak için AKS Kümesi havuzunda HDInsight'a gidin.

   

2. Dış hive meta veri deposu eklemek ve aşağıdaki ayrıntıları doldurmak için iki durumlu düğmeyi etkinleştirin.

   

3. Diğer ayrıntılar, AKS üzerinde HDInsight'ta Apache Spark kümesi için küme oluşturma kurallarına göre doldurulmalıdır.

4. Gözden Geçir ve Oluştur'a tıklayın.

   

   Not

   • Meta veri deposunun yaşam döngüsü bir küme yaşam döngüsüne bağlı olmadığından, meta verileri kaybetmeden küme oluşturabilir ve silebilirsiniz. Hive şemalarınız gibi meta veriler, HDInsight kümesini silip yeniden oluşturduktan sonra bile devam eder.
   • Özel meta veri deposu, bu meta veri deposuna birden çok küme ve küme türü eklemenize olanak tanır.

Dış Meta Veri Deposu'nda çalışma

1. Tablo oluştur

   >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

   

2. Tabloya veri ekleme

   >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

   

3. Tabloyu okuma

   >> spark.sql("select * from sampleTable").show()

   

Başvuru

• Apache, Apache Spark, Spark ve ilişkili açık kaynak proje adları Apache Software Foundation'ın (ASF) ticari markalarıdır.