Azure HDInsight’ta dış meta veri depolarını kullanma
Önemli
Varsayılan meta veri deposu, yalnızca 5 DTU ve 2 GB maksimum veri boyutuna (YÜKSELTİlEMEZ) sahip temel bir katman Azure SQL Veritabanı sağlar! Bunu yalnızca Soru-Cevap ve test amacıyla kullanın. Üretim veya büyük iş yükleri için dış meta veri deposuna geçiş yapmanızı öneririz!
HDInsight, dış veri depolarıyla verilerinizin ve meta verilerinizin denetimini almanıza olanak tanır. Bu özellik Apache Hive meta veri deposu, Apache Oozie meta veri deposu ve Apache Ambari veritabanı için kullanılabilir.
HDInsight'taki Apache Hive meta veri deposu, Apache Hadoop mimarisinin önemli bir parçasıdır. Meta veri deposu merkezi şema deposudur. Meta veri deposu Apache Spark, Etkileşimli Sorgu (LLAP), Presto veya Apache Pig gibi diğer büyük veri erişim araçları tarafından kullanılır. HDInsight, Hive meta veri deposu olarak bir Azure SQL Veritabanı kullanır.
HDInsight kümeleriniz için meta veri deposu ayarlamanın iki yolu vardır:
Varsayılan meta veri deposu
Varsayılan olarak, HDInsight her küme türüne sahip bir meta veri deposu oluşturur. Bunun yerine özel bir meta veri deposu belirtebilirsiniz. Varsayılan meta veri deposu aşağıdaki noktaları içerir:
Sınırlı kaynaklar. Sayfanın en üstündeki bildirime bakın.
Ek ücret alınmaz. HDInsight, sizin için ek ücret ödemeden her küme türüne sahip bir meta veri deposu oluşturur.
Varsayılan meta veri deposu, küme yaşam döngüsünün bir parçasıdır. Bir kümeyi sildiğinizde ilgili meta veri deposu ve meta veriler de silinir.
Varsayılan meta veri deposu yalnızca basit iş yükleri için önerilir. Birden çok küme gerektirmeyen ve küme yaşam döngüsünün ötesinde meta verilerin korunmasına gerek olmayan iş yükleri.
Varsayılan meta veri deposu diğer kümelerle paylaşılamaz.
Özel meta veri deposu
HDInsight, üretim kümeleri için önerilen özel meta depoları da destekler:
Meta veri deposu olarak kendi Azure SQL Veritabanı belirtirsiniz.
Meta veri deposunun yaşam döngüsü bir küme yaşam döngüsüne bağlı olmadığından, meta verileri kaybetmeden küme oluşturabilir ve silebilirsiniz. Hive şemalarınız gibi meta veriler, HDInsight kümesini silip yeniden oluşturduktan sonra bile kalıcı olur.
Özel meta veri deposu, bu meta veri deposuna birden çok küme ve küme türü eklemenize olanak tanır. Örneğin, HDInsight'taki Etkileşimli Sorgu, Hive ve Spark kümeleri arasında tek bir meta veri deposu paylaşılabilir.
Meta veri deposunun (Azure SQL Veritabanı) maliyetini seçtiğiniz performans düzeyine göre ödersiniz.
Meta veri deposunun ölçeğini gerektiği gibi artırabilirsiniz.
Küme ve dış meta veri deposu aynı bölgede barındırılmalıdır.
Özel meta veri deposu için oluşturma ve yapılandırma Azure SQL Veritabanı
HDInsight kümesi için özel hive meta veri deposu ayarlamadan önce mevcut bir Azure SQL Veritabanı oluşturun veya var olan bir Azure SQL Veritabanı sahip olun. Daha fazla bilgi için bkz. Hızlı Başlangıç: Azure SQL Veritabanı'da tek bir veritabanı oluşturma.
Kümeyi oluştururken HDInsight hizmetinin dış meta veri deposuna bağlanması ve kimlik bilgilerinizi doğrulaması gerekir. Azure hizmetlerinin ve kaynaklarının sunucuya erişmesine izin vermek için Azure SQL Veritabanı güvenlik duvarı kurallarını yapılandırın. Sunucu güvenlik duvarını ayarla'yı seçerek Azure portalında bu seçeneği etkinleştirin. Ardından Genel ağ erişimini reddet'in altında Hayır'ı ve Azure hizmetlerinin ve kaynaklarının Azure SQL Veritabanı için bu sunucuya erişmesine izin ver'in altında Evet'i seçin. Daha fazla bilgi için bkz . IP güvenlik duvarı kuralları oluşturma ve yönetme
SQL depoları için özel uç noktalar yalnızca ResourceProvider Bağlan ion ile outbound oluşturulan kümelerde desteklenir. Daha fazla bilgi edinmek için bu belgelere bakın.
Küme oluşturma sırasında özel meta veri deposu seçme
Kümenizi istediğiniz zaman önceden oluşturulmuş bir Azure SQL Veritabanı işaret edebilirsiniz. Portal aracılığıyla küme oluşturmak için, Depolama > Meta veri deposu ayarlarından bu seçenek belirtilir.
Apache Hive meta veri deposu yönergeleri
Not
İşlem kaynaklarını (çalışan kümeniz) ve meta verileri (meta veri deposunda depolanan) ayırmaya yardımcı olmak için mümkün olduğunda özel bir meta veri deposu kullanın. 50 DTU ve 250 GB depolama alanı sağlayan S2 katmanıyla başlayın. Bir performans sorunu görürseniz veritabanının ölçeğini artırabilirsiniz.
Birden çok HDInsight kümesinin ayrı verilere erişmesini planlıyorsanız, her kümedeki meta veri deposu için ayrı bir veritabanı kullanın. Meta veri depolarını birden çok HDInsight kümesinde paylaşıyorsanız, bu, kümelerin aynı meta verileri ve temel alınan kullanıcı veri dosyalarını kullandığı anlamına gelir.
Özel meta veri deponuzu düzenli aralıklarla yedekleyin. Azure SQL Veritabanı otomatik olarak yedekleme oluşturur, ancak yedekleme saklama zaman çerçevesi değişir. Daha fazla bilgi için bkz. Otomatik SQL Veritabanı yedeklemeleri hakkında daha fazla bilgi alın.
Meta veri deponuzu ve HDInsight kümenizi aynı bölgede bulun. Bu yapılandırma en yüksek performansı ve en düşük ağ çıkış ücretlerini sağlar.
Azure SQL Veritabanı İzleme araçlarını veya Azure İzleyici günlüklerini kullanarak meta veri deponuzu performans ve kullanılabilirlik açısından izleyin.
Mevcut bir özel meta veri deposu veritabanında Azure HDInsight'ın yeni, daha yüksek bir sürümü oluşturulduğunda, sistem meta veri deposu şemasını yükselter. Veritabanını yedekten geri yüklemeden yükseltme geri alınamaz.
Bir meta depoyu birden çok kümede paylaşıyorsanız, tüm kümelerin aynı HDInsight sürümü olduğundan emin olun. Farklı Hive sürümleri farklı meta veri deposu veritabanı şemaları kullanır. Örneğin, Hive 2.1 ve Hive 3.1 sürümüne sahip kümelerde meta veri depolarını paylaşamazsınız.
HDInsight 4.0'da Spark ve Hive, SparkSQL veya Hive tablolarına erişmek için bağımsız kataloglar kullanır. Spark tarafından oluşturulan bir tablo Spark kataloğunda yer alır. Hive tarafından oluşturulan bir tablo Hive kataloğunda yer alır. Bu davranış, Hive ve Spark'ın ortak kataloğu paylaştığı HDInsight 3.6'dan farklıdır. HDInsight 4.0'da Hive ve Spark Tümleştirmesi, Hive Warehouse Bağlan or (HWC) kullanıyor. HWC, Spark ile Hive arasında bir köprü olarak çalışır. Hive Warehouse Bağlan veya hakkında bilgi edinin.
HDInsight 4.0'da, meta depoyu Hive ve Spark arasında paylaşmak isterseniz metastore.catalog.default özelliğini Spark kümenizde hive olarak değiştirerek bunu yapabilirsiniz. Bu özelliği Ambari Advanced spark2-hive-site-override içinde bulabilirsiniz. Meta veri deposu paylaşımının yalnızca dış hive tablolarında çalıştığını anlamak önemlidir; iç/yönetilen hive tablolarınız veya ACID tablolarınız varsa bu işe yaramaz.
Özel Hive meta veri deposu parolasını güncelleştirme
Özel bir Hive meta veri deposu veritabanı kullanırken SQL DB parolasını değiştirebilirsiniz. Özel meta veri deposunun parolasını değiştirirseniz, HDInsight kümesindeki parolayı güncelleştirene kadar Hive hizmetleri çalışmaz.
Hive meta veri deposu parolasını güncelleştirmek için:
- Ambari kullanıcı arabirimini açın.
- Hizmetler --> Hive --> Yapılandırmalar --> Veritabanı'ya tıklayın.
- Veritabanı Parolası alanlarını yeni SQL server veritabanı parolasına güncelleştirin.
- Yeni parolanın çalıştığından emin olmak için Test Bağlan ion düğmesine tıklayın.
- Kaydet düğmesine tıklayın.
- Yapılandırmayı kaydetmek için Ambari istemlerini izleyin ve gerekli hizmetleri yeniden başlatın.
Apache Oozie meta veri deposu
Apache Oozie, Hadoop işlerini yöneten bir iş akışı koordinasyon sistemidir. Oozie, Apache MapReduce, Pig, Hive ve diğerleri için Hadoop işlerini destekler. Oozie, iş akışları hakkındaki ayrıntıları depolamak için bir meta veri deposu kullanır. Oozie kullanırken performansı artırmak için özel meta veri deposu olarak Azure SQL Veritabanı kullanabilirsiniz. Meta veri deposu, kümenizi sildikten sonra Oozie iş verilerine erişim sağlar.
Azure SQL Veritabanı ile Oozie meta veri deposu oluşturma yönergeleri için bkz. İş akışları için Apache Oozie kullanma.
Özel Oozie meta veri deposu parolasını güncelleştirme
Özel bir Oozie meta veri deposu veritabanı kullanırken SQL DB parolasını değiştirebilirsiniz. Özel meta veri deposunun parolasını değiştirirseniz, HDInsight kümesindeki parolayı güncelleştirene kadar Oozie hizmetleri çalışmaz.
Oozie meta veri deposu parolasını güncelleştirmek için:
- Ambari kullanıcı arabirimini açın.
- Hizmetler --> Oozie --> Yapılandırmalar --> Veritabanı'ya tıklayın.
- Veritabanı Parolası alanlarını yeni SQL server veritabanı parolasına güncelleştirin.
- Yeni parolanın çalıştığından emin olmak için Test Bağlan ion düğmesine tıklayın.
- Kaydet düğmesine tıklayın.
- Yapılandırmayı kaydetmek için Ambari istemlerini izleyin ve gerekli hizmetleri yeniden başlatın.
Özel Ambari DB
HDInsight üzerinde Apache Ambari ile kendi dış veritabanınızı kullanmak için bkz . Özel Apache Ambari veritabanı.