Unity Kataloğu meta veri deposu oluşturma

Bu makalede Unity Kataloğu meta veri deposu oluşturma ve çalışma alanlarına bağlama işlemleri gösterilmektedir.

Önemli

Unity Kataloğu için otomatik olarak etkinleştirilen çalışma alanları için bu makaledeki yönergeler gereksizdir. Databricks, 9 Kasım 2023'te Unity Kataloğu için yeni çalışma alanlarını otomatik olarak etkinleştirmeye başladı ve hesaplar arasında aşamalı olarak devam eden bir dağıtım yapıldı. Yalnızca çalışma alanınız varsa ve çalışma alanı bölgenizde bir meta veri deposu yoksa bu makaledeki yönergeleri izlemeniz gerekir. Bölgenizde zaten bir meta veri deposu olup olmadığını belirlemek için bkz . Unity Kataloğu'nun otomatik olarak etkinleştirilmesi.

Meta veri deposu, Unity Kataloğu'ndaki veriler için en üst düzey kapsayıcıdır. Unity Kataloğu meta veri depoları güvenli hale getirilebilir nesneler (tablolar, birimler, dış konumlar ve paylaşımlar gibi) ve bunlara erişimi yöneten izinlerle ilgili meta verileri kaydeder. Her meta veri deposu, verilerin düzenlenebileceği üç düzeyli bir ad alanını (catalog.schema.table) kullanıma sunar. Kuruluşunuzun faaliyet gösterdiği her bölge için bir meta veri deposuna sahip olmanız gerekir. Unity Kataloğu ile çalışmak için kullanıcıların kendi bölgelerindeki bir meta veri deposuna bağlı bir çalışma alanında olmaları gerekir.

Meta veri deposu oluşturmak için aşağıdakileri yaparsınız:

1. Azure hesabınızda, isteğe bağlı olarak yönetilen tabloların ve birimlerin meta veri deposu düzeyinde depolaması için bir depolama konumu oluşturun.

   Meta veri deposu düzeyinde depolamaya ihtiyacınız olup olmadığına karar vermenize yardımcı olacak bilgiler için bkz . (İsteğe bağlı) Meta veri deposu düzeyinde depolama oluşturma ve Veriler depolama alanında fiziksel olarak ayrılmıştır.

2. Azure hesabınızda, bu depolama konumuna erişim sağlayan bir Azure yönetilen kimliği veya hizmet sorumlusu oluşturun.

3. Azure Databricks'te meta depoyu oluşturun, depolama konumunu ekleyin ve meta veri deposuna çalışma alanları atayın.

Not

Bu makalede açıklanan yaklaşımlara ek olarak Databricks Terraform sağlayıcısını, özellikle de databricks_metastore kaynağını kullanarak bir meta veri deposu oluşturabilirsiniz. Unity Kataloğu'nu meta veri deposuna erişmek üzere etkinleştirmek için databricks_metastore_data_access kullanın. Çalışma alanlarını bir meta veri deposuna bağlamak için databricks_metastore_assignment kullanın.

Başlamadan önce

Başlamadan önce meta veri depoları ve yönetilen depolama da dahil olmak üzere temel Unity Kataloğu kavramlarını öğrenmeniz gerekir. Unity Kataloğu nedir? bölümüne bakın.

Ayrıca tüm kurulum adımları için aşağıdaki gereksinimleri karşıladığınızdan da emin olmanız gerekir:

• Azure Databricks hesap yöneticisi olmanız gerekir.

  İlk Azure Databricks hesap yöneticisi, Azure Databricks hesap konsolunda ilk kez oturum açtığı sırada Bir Microsoft Entra Id (eski adıYla Azure Active Directory) Genel Yönetici istrator olmalıdır. İlk oturum açmadan sonra, bu kullanıcı bir Azure Databricks hesap yöneticisi olur ve artık Azure Databricks hesabına erişmek için Microsoft Entra ID Genel Yönetici istrator rolüne ihtiyacı yoktur. İlk hesap yöneticisi, Microsoft Entra ID kiracısında kullanıcıları ek hesap yöneticisi olarak atayabilir (kendileri daha fazla hesap yöneticisi atayabilir). Ek hesap yöneticileri, Microsoft Entra Id'de belirli roller gerektirmez.

• Meta veri deposuna eklediğiniz çalışma alanları Azure Databricks Premium planında olmalıdır.

• Meta veri deposu düzeyinde kök depolamayı ayarlamak istiyorsanız Azure kiracınızda aşağıdakileri oluşturma izniniz olmalıdır:

  • Azure Data Lake Storage 2. Nesil ile kullanılacak bir depolama hesabı. Bkz. Azure Data Lake Storage 2. Nesil ile kullanmak için depolama hesabı oluşturma.
  • Sistem tarafından atanan yönetilen kimliği barındırmak için yeni bir kaynak. Bunun için kiracıdaki herhangi bir abonelikteki kaynak grubunun Katkıda Bulunanı veya Sahibi olmanız gerekir.

1. Adım (İsteğe bağlı): Meta veri deposu düzeyinde yönetilen depolama için depolama kapsayıcısı oluşturma

İsteğe bağlı olan bu adımda, yönetilen tablo ve birim verilerini meta veri deposu düzeyinde depolamak için bir depolama hesabı ve kapsayıcı oluşturursunuz. Meta veri deposu düzeyinde depolamaya ihtiyacınız olup olmadığını belirlemek için bkz . (İsteğe bağlı) Meta veri deposu düzeyinde depolama oluşturma.

1. Azure Data Lake Storage 2. Nesil için bir depolama hesabı oluşturun.

   Bu depolama hesabı Unity Kataloğu tarafından yönetilen tabloları ve birimleri içerir. Bu, Azure Databricks çalışma alanlarınızla aynı bölgede bulunan bir Azure Data Lake Storage 2. Nesil hesabı olmalıdır. Bkz. Azure Data Lake Storage 2. Nesil ile kullanmak için depolama hesabı oluşturma.

2. Yönetilen tablolarınızı ve birim verilerinizi meta veri deposu düzeyinde tutacak bir depolama kapsayıcısı oluşturun.

   Bölge başına yalnızca bir meta veri deposu oluşturabilirsiniz. Meta veri deponuz ve depolama kapsayıcınız için aynı bölgeyi kullanmanız gerekir.

   Bu meta veri deposu düzeyi varsayılan depolama konumu, katalog ve şema düzeylerinde geçersiz kılınabilir. Bkz. Yönetilen depolama.

   Aşağıdaki biçimdeki kapsayıcı için ADLSv2 URI'sini not edin:

   abfss://<container-name>@<storage-account-name>.dfs.core.windows.net/<metastore-name>
   

   İzleyen adımlarda değerini bu URI ile değiştirin <storage-container> .

2. Adım (İsteğe bağlı): Yönetilen depolama konumuna erişmek için yönetilen kimlik oluşturma

Yalnızca 1. adımı tamamladığınızda gerekli olan bu adımda, yönetilen kimliği barındıran bir Azure Databricks erişim bağlayıcısı oluşturur ve depolama kapsayıcısına erişim verirsiniz.

Depolamaya erişmek için Unity Kataloğu'nda Azure yönetilen kimliklerini kullanma başlığındaki yönergeleri izleyin.

Not

Meta veri deposunun depolama kapsayıcısına erişim sağlayan kimlik olarak Azure yönetilen kimliği veya hizmet sorumlusu kullanabilirsiniz. Databricks, kimlik bilgilerini korumanızı veya gizli dizileri döndürmenizi gerektirmediğinden ve depolama güvenlik duvarı tarafından korunan bir Azure Data Lake Storage 2. Nesil hesabına bağlanmanıza izin vermediğinden yönetilen kimlikleri kesinlikle önerir. Hizmet sorumlusu kullanmak istiyorsanız bkz . Hizmet sorumlusu (eski) kullanarak Unity Kataloğu yönetilen depolama alanı oluşturma.

3. Adım: Meta veri deposu oluşturma ve çalışma alanı ekleme

Her Azure Databricks bölgesi kendi Unity Kataloğu meta veri deposu gerektirir.

Kuruluşunuzun faaliyet gösterdiği her bölge için bir meta veri deposu oluşturursunuz. Bu bölgesel meta veri depolarının her birini bu bölgedeki herhangi bir sayıda çalışma alanına bağlayabilirsiniz. Her bağlı çalışma alanı meta veri deposundaki verilerin aynı görünümüne sahiptir ve veri erişim denetimi çalışma alanları arasında yönetilebilir. Delta Paylaşımı'nı kullanarak diğer meta veri depolarındaki verilere erişebilirsiniz.

Meta veri deposu düzeyinde depolama oluşturmayı seçtiyseniz, meta veri deposu önceki adımlarda oluşturduğunuz depolama kapsayıcısını ve Azure yönetilen kimliğini kullanır.

Meta veri deposu oluşturmak için:

1. Meta veri deposu düzeyinde depolama oluşturmayı seçtiyseniz, depolama kapsayıcısının yolunu ve önceki görevde oluşturduğunuz Azure Databricks erişim bağlayıcısının kaynak kimliğini kullandığınızdan emin olun.

2. Çalışma alanınızda hesap yöneticisi olarak oturum açın.

3. Azure Databricks çalışma alanının üst çubuğunda kullanıcı adınıza tıklayın ve Hesabı Yönet'i seçin.

4. Azure Databricks hesap konsolunda oturum açın.

5. Katalog'a tıklayın.

6. Meta veri deposu oluştur'a tıklayın.

7. Aşağıdakileri girin:

   • Meta veri deposunun adı .

   • Meta veri deposunun dağıtılacağı bölge .

     Bu, verilere erişmek için kullanmak istediğiniz çalışma alanlarıyla aynı bölgede olmalıdır. Meta veri deposu düzeyinde depolama için bir depolama kapsayıcısı oluşturmayı seçerseniz, bu bölge de aynı olmalıdır.

   • (İsteğe bağlı) ADLS 2. Nesil yolu: Meta veri deposu için kök depolama olarak kullanacağınız depolama kapsayıcısının yolunu girin.

     Ön abfss:// ek otomatik olarak eklenir.

   • (İsteğe bağlı) Erişim Bağlan veya Kimliği: Azure Databricks erişim bağlayıcısının kaynak kimliğini şu biçimde girin:

     /subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
     

8. Oluştur’a tıklayın.

9. İstendiğinde, meta veri deposuna bağlanmak için çalışma alanlarını seçin.

   Ayrıntılar için bkz . Unity Kataloğu için çalışma alanını etkinleştirme.

10. Meta veri deposu yönetici rolünü bir gruba aktarın.

    Meta veri deposu oluşturan kullanıcı, meta veri deposu yöneticisi olarak da adlandırılan sahibidir. Meta veri deposu yöneticisi, meta veri deposunda kataloglar gibi üst düzey nesneler oluşturabilir ve tablolara ve diğer nesnelere erişimi yönetebilir. Databricks, meta veri deposu yönetici rolünü bir gruba yeniden atamanızı önerir. Bkz. Meta veri deposu yöneticisi atama.

11. Yönetilen birimlere yüklemelerin Azure Databricks yönetimini etkinleştirin.

    Azure Databricks, Unity Kataloğu'nda yönetilen birimlere veri yüklemek için çıkış noktaları arası kaynak paylaşımını (CORS) kullanır. Bkz . CORS için Unity Kataloğu depolama hesabını yapılandırma.

Sonraki adımlar

• Katalog oluşturma ve yönetme
• Şema oluşturma ve yönetme (veritabanları)
• Unity Kataloğu'nda tablo oluşturma
• Unity Kataloğu hakkında daha fazla bilgi edinin

Mevcut meta veri deposuna yönetilen depolama ekleme

Meta veri deposu düzeyinde yönetilen depolama isteğe bağlıdır ve otomatik olarak oluşturulan meta veri depolarına dahil değildir. Birden çok çalışma alanı için verileri merkezi olarak depolayan bir veri yalıtım modeli tercih ediyorsanız meta veri deponuza meta veri deposu düzeyinde depolama eklemek isteyebilirsiniz. Delta Sharing kullanarak not defterlerini paylaşmak istiyorsanız veya kişisel hazırlama konumlarını kullanan bir Azure Databricks iş ortağıysanız meta veri deposu düzeyinde depolamaya ihtiyacınız vardır.

Ayrıca bkz. Yönetilen depolama.

Gereksinimler

• Unity Kataloğu meta veri deposuna eklenmiş en az bir çalışma alanınız olmalıdır.
• Azure Databricks izinleri gerekli:
  • Dış konum oluşturmak için ve ayrıcalıklarına sahip CREATE EXTERNAL LOCATIONCREATE STORAGE CREDENTIAL bir meta veri deposu yöneticisi veya kullanıcısı olmanız gerekir.
  • Depolama konumunu meta veri deposu tanımına eklemek için hesap yöneticisi olmanız gerekir. Hesabınızda hesap yöneticisi rolünü etkinleştirme yönergeleri için bkz . İlk hesap yöneticinizi oluşturma.
• Azure kiracı izinleri gerekli:
  • Azure Data Lake Storage 2. Nesil ile kullanılacak bir depolama hesabı oluşturma izni. Bu depolama hesabının hiyerarşik ad alanı olmalıdır. Bkz. Azure Data Lake Storage 2. Nesil ile kullanmak için depolama hesabı oluşturma.
  • Sistem tarafından atanan yönetilen kimliği tutmak için yeni bir kaynak oluşturma izni. Bunun için kiracıdaki herhangi bir abonelikteki kaynak grubunun Katkıda Bulunanı veya Sahibi olmanız gerekir.

1. Adım: Depolama konumunu oluşturma

1. Adım (İsteğe bağlı): Meta veri deposu düzeyinde yönetilen depolama için depolama kapsayıcısı oluşturma ve 2. Adım (İsteğe bağlı): Azure Data Lake Storage 2. Nesil'da bir depolama kapsayıcısı oluşturmak için yönetilen depolama konumuna erişmek için yönetilen kimlik oluşturma ve depolama kapsayıcısına erişimi olan bir yönetilen kimliği barındıran bir Azure Databricks erişim bağlayıcısı oluşturun.

2. Adım: Unity Kataloğu'nda dış konum oluşturma

Bu adımda, Unity Kataloğu'nda yeni oluşturduğunuz ADLS 2. Nesil yoluna başvuran bir dış konum oluşturursunuz.

1. Depolama kimlik bilgileri oluşturun.

   Depolama kimlik bilgileri, 1. Adım: Depolama konumunu oluşturma bölümünde oluşturduğunuz Azure yönetilen kimliğini temsil eder.

   Azure Data Lake Storage 2. Nesil bağlanmak için depolama kimlik bilgisi oluşturma başlığındaki yönergeleri izleyin.

2. Önceki adımda oluşturduğunuz depolama kimlik bilgilerine ve 1. Adım: Depolama konumunu oluşturma bölümünde oluşturduğunuz ADLS 2. Nesil depolama kapsayıcıya başvuran bir dış konum oluşturun.

   Bulut depolama alanını Azure Databricks'e bağlamak için Dış konum oluşturma başlığındaki yönergeleri izleyin

3. Dış konumda kendinize CREATE MANAGED STORAGE ayrıcalık verin.

   1. Ayrıntılar bölmesini açmak için dış konum adına tıklayın.
   2. İzinler sekmesinde Ver'e tıklayın.
   3. Verme tarihi<external location>iletişim kutusunda Sorumlular alanında kendinizi seçin ve öğesini seçinCREATE MANAGED STORAGE.
   4. Ver'e tıklayın.

3. Adım: Depolama konumunu meta veri deposuna ekleme

Meta veri deposu depolama demetini temsil eden bir dış konum oluşturduktan sonra bunu meta veri deposuna ekleyebilirsiniz.

1. Hesap yöneticisi olarak hesap konsolunda oturum açın.

2. Katalog'a tıklayın.

3. Meta veri deposu adına tıklayın.

4. Meta veri deposu Yönetici olduğunuzu onaylayın.

   Değilseniz Düzenle'ye tıklayın ve kendinizi meta veri deposu yöneticisi olarak atayın. Bu yordamla işiniz bittiğinde atamanızı kaldırabilirsiniz.

5. Yapılandırma sekmesinde, ADLS 2. Nesil yolunun yanındaki Ayarla'ya tıklayın.

6. Meta veri deposu kökünü ayarla iletişim kutusunda, dış konumu oluşturmak için kullandığınız ADLS 2. Nesil yolunu girin ve Güncelleştir'e tıklayın.

   Bu yolu ayarladıktan sonra değiştiremezsiniz.

Meta veri depolarını silme

Azure Databricks hesabınızı kapatıyorsanız veya Unity Kataloğu meta veri deponuz tarafından yönetilen verilere erişimi silmek için başka bir nedeniniz varsa, meta depoyu silebilirsiniz.

Uyarı

Meta veri deposu tarafından yönetilen tüm nesnelere Azure Databricks çalışma alanları kullanılarak erişilemez hale gelir. Bu eylem geri alınamaz.

Yönetilen tablo verileri ve meta veriler 30 gün sonra otomatik olarak silinir. Bulut depolama alanınızdaki dış tablo verileri meta veri deposu silme işleminden etkilenmez.

Meta veri depolarını silmek için:

1. Meta veri deposu yöneticisi olarak hesap konsolunda oturum açın.
2. Katalog'a tıklayın.
3. Meta veri deposu adına tıklayın.
4. Yapılandırma sekmesinde, sağ üst taraftaki üç düğmeli menüye tıklayın ve Sil'i seçin.
5. Onay iletişim kutusunda meta veri deposunun adını girin ve Sil'e tıklayın.