Azure purview 'da Hive meta veri deposu veritabanlarını Bağlan ve yönetme

Makale
11/20/2021
Okumak için 4 dakika

Bu makalede Hive meta veri deposu veritabanlarının nasıl kaydedileceği ve Azure purview 'daki Hive meta veri deposu veritabanlarıyla nasıl kimlik doğrulaması yapılacağı özetlenmektedir. Azure purview hakkında daha fazla bilgi için tanıtım makalesiniokuyun.

Desteklenen özellikler

Meta veri ayıklama	Tam tarama	Artımlı tarama	Kapsamlı tarama	Sınıflandırma	Erişim Ilkesi	Köken
Evet	Evet	Hayır	Hayır	Hayır	Hayır	Evet**

** Kökenini, veri kümesi Data Factory kopyalama etkinliğinde kaynak/havuz olarak kullanılıyorsa desteklenir

Önemli

Desteklenen platformlar şunlardır Apache Hadoop, Cloudera, Hortonçalışmalar ve Databricks. Desteklenen Hive sürümleri 2. x-3. x 'tir. Desteklenen Databricks sürümleri 8,0 ve üzeri.

Önkoşullar

Etkin aboneliği olan bir Azure hesabı. Ücretsiz hesap oluşturun.
Etkin bir takip görünümü kaynağı.
Bir kaynak kaydetmek ve bunu purview Studio 'da yönetmek için bir veri kaynağı Yöneticisi ve veri okuyucusu olmanız gerekir. Ayrıntılar için bkz. Azure purview izinleri sayfası .
En son kendi kendine barındırılan tümleştirme çalışma zamanınıayarlayın. Daha fazla bilgi için, Şirket içinde barındırılan tümleştirme çalışma zamanı oluşturma ve yapılandırma kılavuzu' na bakın.
Şirket içinde barındırılan tümleştirme çalışma zamanının yüklü olduğu sanal makinede JDK 11 ' in yüklü olduğundan emin olun.
şirket içinde barındırılan tümleştirme çalışma zamanı makinesine Visual Studio için Visual C++ Yeniden Dağıtılabilir 2012 güncelleştirme 4 ' ün yüklü olduğundan emin olun. Bu güncelleştirme yüklü değilse, buradan indirebilirsiniz.
Hive meta veri deposu veritabanının JDBC sürücüsünü kendi şirket içinde barındırılan tümleştirme çalışma zamanının çalıştığı makineye indirip yükleyin. Örneğin, kullanılan veritabanı MSSQL ise, Microsoft 'un SQL Server IÇIN JDBC sürücüsünüindirdiğinizden emin olun.

Not

Sürücü, VM 'deki tüm hesaplara erişebilmelidir. Bunu bir kullanıcı hesabına yüklemeyin.

Kaydol

Bu bölümde, Azure purview ' de Hive meta veri veritabanlarını takip etme Studio 'yukullanarak nasıl kaydedileceği açıklanmaktadır.

Hive meta veri deposu için desteklenen tek kimlik doğrulaması, temel kimlik doğrulamadır.

Kayıt adımları

Purview hesabınıza gidin.
Sol gezinti bölmesinde veri haritası ' nı seçin.
Kaydol ' u seçin
Kayıt kaynakları üzerinde Hive meta veri deposu' nu seçin. Devam ' ı seçin .

Kaynakları Kaydet (Hive meta veri deposu) ekranında şunları yapın:

Veri kaynağının Katalog içinde listeleneceği bir ad girin.
Hive kümesi URL 'sini girin. Küme URL 'SI, ambarı URL 'sinden ya da Databricks çalışma alanı URL 'sinden elde edilebilir. Örneğin, hive.azurehdinsight.net veya adb-19255636414785.5.azuredatabricks.net
Hive meta veri sunucusu URL 'sini girin. Örneğin, sqlserver://hive.database.windows.net veya JDBC: Spark://ADB-19255636414785.5.azuredatabricks.net: 443
Bir koleksiyon seçin veya yeni bir tane oluşturun (Isteğe bağlı).
Veri kaynağını kaydetmek için son ' a gidin.

Tarama

Varlıkları otomatik olarak tanımlamak ve verilerinizi sınıflandırmak üzere Hive meta veri veritabanlarını taramak için aşağıdaki adımları izleyin. Tarama hakkında daha fazla bilgi için bkz. Taramalarımıza ve Alım ilkelerine giriş.

Tarama oluştur ve Çalıştır

Yönetim Merkezi 'nde tümleştirme çalışma zamanları ' nı seçin. Şirket içinde barındırılan bir tümleştirme çalışma zamanının ayarlandığından emin olun. Ayarlanmamışsa, şirket içinde barındırılan bir tümleştirme çalışma zamanı ayarlamak için [buraya] (./Manage-Integration-Runtimes.exe) belirtilen adımları kullanın.
Kaynaklara gidin.
Kayıtlı Hive meta veri deposunu seçin.
+ Yeni tarama' yı seçin.
Aşağıdaki ayrıntıları sağlayın:
1. Ad: taramanın adı
2. ıntegration runtime aracılığıyla Bağlan: yapılandırılmış şirket içinde barındırılan tümleştirme çalışma zamanını seçin.
3. Kimlik bilgisi: veri kaynağınıza bağlanacak kimlik bilgisini seçin. Şunları yaptığınızdan emin olun:
  - Kimlik bilgisi oluştururken temel kimlik doğrulaması ' nı seçin.
  - Kullanıcı adı giriş alanına meta veri deposu Kullanıcı adını sağlayın
  - Meta veri deposu parolasını gizli anahtar olarak depolayın.
  Kimlik bilgilerini daha fazla anlamak için buradakibağlantıya başvurun.
  
  Databricks kullanımı: databricks kümenize gidin-> Apps-> Web terminalini başlatın. Cat/databricks/Hive/conf/hive-site.xml cmdlet 'ini çalıştırın
  
  Kullanıcı adı ve parolaya aşağıda gösterildiği gibi iki özelliklerden erişilebilir:
4. Meta konak tümleştirme çalışma ZAMANıNıN çalıştığı sanal MAKINENIZDE, JDBC sürücü konumunun yolunu belirtin. Bu, geçerli JARs klasörü konumunun yolu olmalıdır.
  
  Databricks tarıyorsanız, aşağıdaki Databricks bölümüne bakın.
  
  Not
  
  Sürücü, VM 'deki tüm hesaplara erişebilmelidir. Lütfen bir kullanıcı hesabına yüklemeyin.
5. Meta veri deposu JDBC sürücü sınıfı: bağlantı sürücüsü sınıf adını sağlayın. Örneğin, \com.microsoft.sqlserver.jdbc.SQLServerDriver.
  
  Databricks kullanımı: databricks kümenize gidin-> Apps-> Web terminalini başlatın. Cat/databricks/Hive/conf/hive-site.xml cmdlet 'ini çalıştırın
  
  Sürücü sınıfına, aşağıda gösterildiği gibi özelliğinden erişilebilir.
6. METASRATıON JDBC URL 'si: bağlantı URL 'si değerini sağlayın ve meta VERI deposu DB sunucu URL 'sine bağlantı tanımlayın. Örneğin: jdbc:sqlserver://hive.database.windows.net;database=hive;encrypt=true;trustServerCertificate=true;create=false;loginTimeout=300.
  
  Databricks kullanımı: databricks kümenize gidin-> Apps-> Web terminalini başlatın. Cat/databricks/Hive/conf/hive-site.xml cmdlet 'ini çalıştırın
  
  JDBC URL 'sine, aşağıda gösterildiği gibi bağlantı URL özelliğinden erişilebilir.
  
  Not
  
  URL 'YI hive-site.xml kopyaladığınızda, dizeden kaldırdığınızdan emin olun, amp; aksi zaman tarama başarısız olur. Bu URL'ye, SSL sertifikasının VM'nize yerleştiril olduğu konumun yolunu ekleyin. SSL sertifikasını indirebilirsiniz. Yol ayırıcısı Windows olarak değiştirmeyi \ / unutmayın. Örneğin: MariaDB JAR dosyanız C:\mariadb-jdbc.jar ise, bunu C:/mariadb-jdbc.jar olarak değiştirebilirsiniz. Meta veri deposu JDBC URL parametresinde aynı değişikliği sslCA yapma: Bunu D:\Drivers\SSLCert\BaltimoreCyberTrustRoot.crt.pem olarak D:/Drivers/SSLCert/BaltimoreCyberTrustRoot.crt.pem olarak değiştirme.
  
  Meta veri deposu JDBC URL'si şu örnekteki gibi olur:
  
  jdbc:mariadb://consolidated-westus2-prod-metastore-addl-1.mysql.database.azure.com:3306/organization1829255636414785?trustServerCertificate=true&useSSL=true&sslCA=D:/Drivers/SSLCert/BaltimoreCyberTrustRoot.crt.pem
7. Meta veri deposu veritabanı adı: Hive Meta Veri Deposu Veritabanı adını girin.
  
  Databricks'i tarıyorsanız aşağıdaki Databricks bölümüne bakın.
  
  Databricks kullanımı: Databricks kümenize gidin -> Apps -> Web Terminalini Başlat'a gidin. /databricks/hive/conf/hive-site.xml cmdlet'ini çalıştırın
  
  Veritabanı adına aşağıda gösterildiği gibi JDBC URL özelliğinden erişilebilir. Örneğin: organization1829255636414785
8. Şema: İçeri aktarıla bir Hive şemaları listesi belirtin. Örneğin şema1; schema2.
  
  Liste boşsa tüm kullanıcı şemaları içe aktarılır. Tüm sistem şemaları (örneğin, SysAdmin) ve nesneler varsayılan olarak yoksayılır.
  
  Liste boş olduğunda, kullanılabilir tüm şemalar içe aktarılır. SQL LIKE ifadeleri söz dizimi kullanılarak kabul edilebilir şema adı desenleri % kullanmayı içerir. Örneğin: %; %B; %C%; D
  - A ile başlama veya
  - B ile sona erer veya
  - C içerir veya
  - equal D
  NOT ve özel karakterlerin kullanımı kabul edilemez.
9. Kullanılabilir maksimum bellek: Tarama işlemleri tarafından kullanılacak müşterinin sanal makinesi üzerinde kullanılabilen maksimum bellek (GB). Bu, taranacak Hive Meta Veri Deposu veritabanının boyutuna bağlıdır.
Devam’ı seçin.
Tarama tetikleyicinizi seçin. Bir zamanlama ayar bulundurarak veya taramayı bir kez çalıştırın.
Taramanızı gözden geçirerek Kaydet ve Çalıştır'ı seçin.

Sonraki adımlar

Kaynağınızı kaydettiniz. Purview ve verileriniz hakkında daha fazla bilgi edinmek için aşağıdaki kılavuzları izleyin.