Unity Kataloğu nedir?

Bu makalede Databricks lakehouse'da veriler ve yapay zeka varlıkları için birleşik bir idare çözümü olan Unity Kataloğu tanıtilmektedir.

Unity Kataloğuna Genel Bakış

Unity Kataloğu, Azure Databricks çalışma alanlarında merkezi erişim denetimi, denetim, köken ve veri bulma özellikleri sağlar.

Unity Kataloğu'nun önemli özellikleri şunlardır:

• Her yerde bir kez tanımla, her yerde güvenlidir: Unity Kataloğu, tüm çalışma alanlarında geçerli olan veri erişim ilkelerini yönetmek için tek bir yer sunar.
• Standartlara uyumlu güvenlik modeli: Unity Kataloğu'nun güvenlik modeli standart ANSI SQL'i temel alır ve yöneticilerin kataloglar, veritabanları (şemalar olarak da adlandırılır), tablolar ve görünümler düzeyinde tanıdık söz dizimini kullanarak mevcut veri göllerinde izinler vermesine olanak tanır.
• Yerleşik denetim ve köken: Unity Kataloğu, verilerinize erişimi kaydeden kullanıcı düzeyindeki denetim günlüklerini otomatik olarak yakalar. Unity Kataloğu, veri varlıklarının tüm dillerde nasıl oluşturulduğunu ve kullanıldığını izleyen köken verilerini de yakalar.
• Veri bulma: Unity Kataloğu, veri varlıklarını etiketlemenize ve belgelenize olanak tanır ve veri tüketicilerinin verileri bulmasına yardımcı olacak bir arama arabirimi sağlar.
• Sistem tabloları (Genel Önizleme): Unity Kataloğu, denetim günlükleri, faturalanabilir kullanım ve köken gibi hesabınızın işletimsel verilerine kolayca erişmenizi ve bunları sorgulamanızı sağlar.

Unity Kataloğu, bulut nesne depolamadaki verilere ve yapay zeka varlıklarına erişimi nasıl yönetir?

Databricks, Unity Kataloğu'nu kullanarak bulut nesne depolamasına tüm erişimi yapılandırmanızı önerir. Bkz. Unity Kataloğu'nu kullanarak bulut nesne depolamaya Bağlan.

Unity Kataloğu, Azure Databricks ile bulut nesne depolaması arasındaki ilişkileri yönetmek için aşağıdaki kavramları tanıtır:

• Depolama kimlik bilgileri, bulut depolamaya erişim sağlayan uzun vadeli bir bulut kimlik bilgilerini kapsüller. Örneğin, Azure Data Lake Storage 2. Nesil kapsayıcıya veya Cloudflare R2 API belirtecine erişebilen bir Azure yönetilen kimliği. Bkz. Azure Data Lake Storage 2. Nesil bağlanmak için depolama kimlik bilgisi oluşturma ve Cloudflare R2'ye bağlanmak için depolama kimlik bilgisi oluşturma.
• Dış konumlar , depolama kimlik bilgilerine ve bulut depolama yoluna başvuru içerir. Bkz. Bulut depolamayı Azure Databricks'e bağlamak için dış konum oluşturma.
• Yönetilen depolama konumları, kendi bulut depolama hesabınızdaki bir Azure Data Lake Storage 2. Nesil kapsayıcısında veya Cloudflare R2 demetindeki bir depolama konumunu bir meta veri deposu, katalog veya şemayla ilişkilendirir. Yönetilen depolama konumları, yönetilen tablolar ve yönetilen birimler için varsayılan depolama konumu olarak kullanılır. Bkz . Unity Kataloğu'nda yönetilen depolama konumu belirtme.
• Birimler, bulut nesne depolama alanında depolanan tablosal olmayan verilere erişim sağlar. Bkz. Birimler oluşturma ve birimlerle çalışma.
• Tablolar , bulut nesne depolama alanında depolanan tablo verilerine erişim sağlar.

Not

Lakehouse Federasyonu, diğer dış sistemlerdeki verilerle tümleştirmeler sağlar. Bu nesneler bulut nesne depolaması tarafından yedeklenmez.

Unity Kataloğu nesne modeli

Unity Kataloğu'nda, birincil veri nesnelerinin hiyerarşisi meta veri deposundan tabloya veya birime akar:

• Meta veri deposu: Meta veriler için en üst düzey kapsayıcı. Her meta veri deposu, verilerinizi düzenleyen üç düzeyli bir ad alanını (catalog.schema.table) kullanıma sunar.
• Katalog: Veri varlıklarınızı düzenlemek için kullanılır, nesne hiyerarşisinin ilk katmanıdır.
• Şema: Veritabanları olarak da bilinen şemalar, nesne hiyerarşisinin ikinci katmanıdır ve tablolar ve görünümler içerir.
• Tablolar, görünümler ve birimler: Veri nesnesi hiyerarşisindeki en düşük düzeyde tablolar, görünümler ve birimler bulunur. Birimler, tablosal olmayan veriler için idare sağlar.
• Modeller: Veri varlıkları olmasa da, kayıtlı modeller Unity Kataloğu'nda da yönetilebilir ve nesne hiyerarşisinde en düşük düzeyde bulunabilir.

Bu, güvenliği sağlanabilir Unity Kataloğu nesnelerinin basitleştirilmiş bir görünümüdür. Daha fazla ayrıntı için bkz . Unity Kataloğu'nda güvenli hale getirilebilir nesneler.

Unity Kataloğu'ndaki tüm verilere üç düzeyli bir ad alanı kullanarak başvurursunuz: catalog.schema.assetasset burada tablo, görünüm, birim veya model olabilir.

Meta veri depoları

Meta veri deposu, Unity Kataloğu'ndaki nesnelerin en üst düzey kapsayıcısıdır. Veriler, yapay zeka varlıkları ve bunlara erişimi yöneten izinler hakkındaki meta verileri kaydeder. Azure Databricks hesap yöneticileri, çalıştıkları her bölge için bir meta veri deposu oluşturmalı ve bunları aynı bölgedeki Azure Databricks çalışma alanlarına atamalıdır. Bir çalışma alanının Unity Kataloğu'nu kullanabilmesi için, bir Unity Kataloğu meta deposu ekli olmalıdır.

Meta veri deposu isteğe bağlı olarak bir Azure Data Lake Storage 2. Nesil kapsayıcısında yönetilen depolama konumuyla veya kendi bulut depolama hesabınızdaki Cloudflare R2 demetiyle yapılandırılabilir. Bkz. Yönetilen depolama.

Not

Bu meta veri deposu, Unity Kataloğu için etkinleştirilmemiş Azure Databricks çalışma alanlarına dahil edilen Hive meta veri deposundan farklıdır. Çalışma alanınız eski bir Hive meta veri deposu içeriyorsa, bu meta veri deposundaki veriler Unity Kataloğu'nda tanımlanan verilerin yanı sıra adlı hive_metastorebir katalogda da kullanılabilir. Kataloğun hive_metastore Unity Kataloğu tarafından yönetilmediğini ve Unity Kataloğu'nda tanımlanan kataloglarla aynı özellik kümesinden yararlanmadığını unutmayın.

Bkz . Unity Kataloğu meta veri deposu oluşturma.

Katalog

Katalog, Unity Kataloğu'nun üç düzeyli ad alanının ilk katmanıdır. Veri varlıklarınızı düzenlemek için kullanılır. Kullanıcılar, kendilerine veri izni atanmış USE CATALOGolan tüm katalogları görebilir.

Çalışma alanınızın Unity Kataloğu için nasıl oluşturulduğuna ve etkinleştirildiğine bağlı olarak, kullanıcılarınız katalog veya çalışma alanı kataloğu (<workspace-name>) dahil main otomatik olarak sağlanan kataloglarda varsayılan izinlere sahip olabilir. Daha fazla bilgi için bkz . Varsayılan kullanıcı ayrıcalıkları.

Bkz. Katalog oluşturma ve yönetme.

Şema

Şema (veritabanı olarak da adlandırılır), Unity Kataloğu'nun üç düzeyli ad alanının ikinci katmanıdır. Şema tabloları ve görünümleri düzenler. Kullanıcılar, kendilerine iznin atandığı USE SCHEMA tüm şemaları ve şemanın üst kataloğundaki USE CATALOG izinleri görebilir. Şemadaki bir tabloya veya görünüme erişmek veya görüntülemek için, kullanıcıların tablo veya görünüm üzerinde de SELECT izinleri olmalıdır.

Çalışma alanınız Unity Kataloğu için el ile etkinleştirildiyse, çalışma alanınızdaki tüm kullanıcılar tarafından erişilebilen katalogda main adlı default bir varsayılan şema içerir. Çalışma alanınız Unity Kataloğu için otomatik olarak etkinleştirildiyse ve bir <workspace-name> katalog içeriyorsa, bu katalog çalışma alanınızdaki tüm kullanıcıların erişebileceği adlı default bir şema içerir.

Bkz. Şemaları (veritabanları) oluşturma ve yönetme.

Tablo

Tablo, Unity Kataloğu'nun üç düzeyli ad alanının üçüncü katmanında yer alır. Veri satırları içerir. Tablo oluşturmak için, kullanıcıların şema üzerinde ve USE SCHEMA izinlerine sahip CREATEUSE CATALOG olması ve üst kataloğunda izinleri olmalıdır. Bir tabloyu sorgulamak için, kullanıcıların tablo üzerinde izni, USE SCHEMA üst şeması üzerindeki izni ve üst kataloğundaki USE CATALOG izni olmalıdırSELECT.

Tablo yönetilebilir veya dışlanabilir.

Yönetilen tablolar

Yönetilen tablolar, Unity Kataloğu'nda tablo oluşturmanın varsayılan yoludur. Unity Kataloğu, bu tablolar için yaşam döngüsünü ve dosya düzenini yönetir. Bu tablolardaki dosyaları doğrudan işlemek için Azure Databricks dışındaki araçları kullanmamalısınız. Yönetilen tablolar her zaman Delta tablo biçimini kullanır.

Unity Kataloğu için el ile etkinleştirilen çalışma alanları için, yönetilen tablolar meta veri deposu oluşturduğunuzda yapılandırdığınız kök depolama konumunda depolanır. İsteğe bağlı olarak, yönetilen tablo depolama konumlarını katalog veya şema düzeylerinde belirterek kök depolama konumunu geçersiz kılabilirsiniz.

Unity Kataloğu için otomatik olarak etkinleştirilen çalışma alanları için meta veri deposu kök depolama konumu isteğe bağlıdır ve yönetilen tablolar genellikle katalog veya şema düzeylerinde depolanır.

Yönetilen tablo bırakıldığında, temel alınan veriler 30 gün içinde bulut kiracınızdan silinir.

Bkz. Yönetilen tablolar.

Dış tablolar

Dış tablolar, veri yaşam döngüsü ve dosya düzeni Unity Kataloğu tarafından yönetilmeyen tablolardır. Unity Kataloğu'nda büyük miktarlarda mevcut verileri kaydetmek için veya Azure Databricks kümeleri veya Databricks SQL ambarları dışındaki araçları kullanarak verilere doğrudan erişime ihtiyacınız varsa dış tabloları kullanın.

Dış tabloyu bıraktığınızda Unity Kataloğu temel alınan verileri silmez. Dış tablolardaki ayrıcalıkları yönetebilir ve bunları yönetilen tablolarla aynı şekilde sorgularda kullanabilirsiniz.

Dış tablolar aşağıdaki dosya biçimlerini kullanabilir:

• DELTA
• CSV
• JSON
• AVRO
• PARKE
• ORC
• METİN

Bkz. Dış tablolar.

Görünümler

Görünüm, meta veri deposundaki bir veya daha fazla tablo ve görünümden oluşturulan salt okunur bir nesnedir. Unity Kataloğu'nun üç düzeyli ad alanının üçüncü katmanında bulunur. Görünüm, birden çok şema ve katalogdaki tablolardan ve diğer görünümlerden oluşturulabilir. Satır ve sütun düzeyinde izinleri etkinleştirmek için dinamik görünümler oluşturabilirsiniz.

Bkz. Dinamik görünüm oluşturma.

Birimler

Birim, Unity Kataloğu'nun üç düzeyli ad alanının üçüncü katmanında yer alır. Birimler, Unity Kataloğu'ndaki bir şema altında düzenlenmiş tablolara, görünümlere ve diğer nesnelere eşdüzeydir.

Birimler, herhangi bir biçimde depolanan veriler için dizinler ve dosyalar içerir. Birimler verilere tablosal olmayan erişim sağlar, yani birimlerdeki dosyalar tablo olarak kaydedilemez.

• Birim oluşturmak için, kullanıcıların şema üzerinde ve USE SCHEMA izinlerine sahip CREATE VOLUMEUSE CATALOG olması ve üst kataloğunda izinleri olmalıdır.
• Bir birimde depolanan dosyaları ve dizinleri okumak için kullanıcıların izni, USE SCHEMA üst şeması üzerindeki izni ve üst kataloğundaki USE CATALOG izni olması gerekirREAD VOLUME.
• Bir birimde depolanan dosya ve dizinleri eklemek, kaldırmak veya değiştirmek için kullanıcıların izni, USE SCHEMA üst şeması üzerindeki izni ve üst kataloğu üzerindeki USE CATALOG izni olmalıdırWRITE VOLUME.

Birim yönetilebilir veya harici olabilir.

Not

Bir birim tanımladığınızda, birim yolu altındaki verilere bulut URI erişimi birimin izinleri tarafından yönetilir.

Yönetilen birimler

Tablosal olmayan dosyalarla çalışmak için idare edilen bir konum sağlamak istediğinizde yönetilen birimler kullanışlı bir çözüm olur.

Yönetilen birimler dosyaları, içinde bulundukları şema için Unity Kataloğu varsayılan depolama konumunda depolar. Unity Kataloğu için el ile etkinleştirilen çalışma alanları için, yönetilen birimler meta veri deposu oluşturduğunuzda yapılandırdığınız kök depolama konumunda depolanır. İsteğe bağlı olarak, yönetilen birim depolama konumlarını katalog veya şema düzeylerinde belirterek kök depolama konumunu geçersiz kılabilirsiniz. Unity Kataloğu için otomatik olarak etkinleştirilen çalışma alanları için meta veri deposu kök depolama konumu isteğe bağlıdır ve yönetilen birimler genellikle katalog veya şema düzeylerinde depolanır.

Aşağıdaki öncelik, yönetilen birim için hangi konumun kullanılacağını yönetir:

• Şema konumu
• Katalog konumu
• Unity Kataloğu meta veri deposu kök depolama konumu

Yönetilen bir birimi sildiğinizde, bu birimde depolanan dosyalar da 30 gün içinde bulut kiracınızdan silinir.

Bkz. Yönetilen birim nedir?.

Dış birimler

Dış birim Unity Kataloğu dış konumuna kaydedilir ve veri geçişi gerektirmeden bulut depolamadaki mevcut dosyalara erişim sağlar. Kullanıcıların dış birim oluşturmak için dış konumda izni olmalıdır CREATE EXTERNAL VOLUME .

Dış birimler, dosyaların diğer sistemler tarafından üretildiği ve nesne depolama kullanılarak Azure Databricks içinden erişim için hazırlandığı veya Azure Databricks dışındaki araçların doğrudan dosya erişimi gerektirdiği senaryoları destekler.

Unity Kataloğu, dış birimlerdeki dosyaların yaşam döngüsünü ve düzenini yönetmez. Bir dış birimi bıraktığınızda Unity Kataloğu temel alınan verileri silmez.

Bkz. Dış birim nedir?.

Modeller

Model, Unity Kataloğu'nun üç düzeyli ad alanının üçüncü katmanında yer alır. Bu bağlamda "model", MLflow Model Kayıt Defteri'ne kaydedilmiş bir makine öğrenmesi modelini ifade eder. Unity Kataloğu'nda model oluşturmak için kullanıcıların katalog veya şema ayrıcalığına sahip CREATE MODEL olması gerekir. Ayrıca kullanıcının üst katalogda ve USE SCHEMA üst şemada ayrıcalığı olmalıdırUSE CATALOG.

Yönetilen depolama

Yönetilen tabloları ve yönetilen birimleri Unity Kataloğu nesne hiyerarşisinde şu düzeylerden herhangi birinde depolayabilirsiniz: meta veri deposu, katalog veya şema. Hiyerarşide daha düşük düzeylerde Depolama, daha yüksek düzeylerde tanımlanan depolamayı geçersiz kılar.

Hesap yöneticisi el ile bir meta veri deposu oluşturduğunda, yönetilen tablolar ve birimler için meta veri deposu düzeyinde depolama olarak kullanmak üzere kendi bulut depolama hesabınızdaki bir Azure Data Lake Storage 2. Nesil kapsayıcısında veya Cloudflare R2 demetinde depolama konumu atama seçeneğine sahiptir. Meta veri deposu düzeyinde yönetilen depolama konumu atanmışsa, katalog ve şema düzeylerindeki yönetilen depolama konumları isteğe bağlıdır. Buna göre meta veri deposu düzeyinde depolama isteğe bağlıdır ve Databricks mantıksal veri yalıtımı için yönetilen depolamanın katalog düzeyinde atanmalarını önerir. Bkz. Veri idaresi ve veri yalıtımı yapı taşları.

Önemli

Çalışma alanınız Unity Kataloğu için otomatik olarak etkinleştirildiyse, Unity Kataloğu meta veri deposu meta veri deposu düzeyinde yönetilen depolama olmadan oluşturulmuştur. Meta veri deposu düzeyinde depolama eklemeyi tercih edebilirsiniz ancak Databricks, katalog ve şema düzeylerinde yönetilen depolama atamanızı önerir. Meta veri deposu düzeyinde depolamaya ihtiyacınız olup olmadığına karar verme konusunda yardım için bkz . (İsteğe bağlı) Meta veri deposu düzeyinde depolama oluşturma ve Veriler depolama alanında fiziksel olarak ayrılmıştır.

Yönetilen depolama aşağıdaki özelliklere sahiptir:

• Yönetilen tablolar ve yönetilen birimler, verileri ve meta veri dosyalarını yönetilen depolama alanında depolar.
• Yönetilen depolama konumları dış tablolarla veya dış birimlerle çakışamaz.

Aşağıdaki tabloda, yönetilen depolamanın nasıl bildirildiğini ve Unity Kataloğu nesneleriyle nasıl ilişkilendirildiğini açıklanmaktadır:

İlişkili Unity Kataloğu nesnesi	Nasıl ayarlanır?	Dış konumlarla ilişki
Meta veri deposu	Meta veri deposu oluşturma sırasında hesap yöneticisi tarafından yapılandırılır veya oluşturma sırasında depolama belirtilmediyse meta veri deposu oluşturma işleminden sonra eklenir.	Dış konumla örtüşemez.
Katalog	Anahtar sözcüğü kullanılarak katalog oluşturma sırasında belirtilir MANAGED LOCATION .	Dış bir konumda yer almalıdır.
Şema	Anahtar sözcüğü kullanılarak şema oluşturma sırasında belirtilir MANAGED LOCATION .	Dış bir konumda yer almalıdır.

Yönetilen tablolar ve yönetilen birimler için verileri ve meta verileri depolamak için kullanılan yönetilen depolama konumu aşağıdaki kuralları kullanır:

• İçeren şemanın yönetilen konumu varsa, veriler şema tarafından yönetilen konumda depolanır.
• İçeren şemanın yönetilen konumu yoksa ancak kataloğun yönetilen konumu varsa, veriler katalog tarafından yönetilen konumda depolanır.
• Ne içeren şemanın ne de içeren kataloğun yönetilen konumu varsa, veriler meta veri deposu tarafından yönetilen konumda depolanır.

Kimlik bilgilerini ve dış konumları Depolama

Unity Kataloğu, dış tablolar, dış birimler ve yönetilen depolama için temel alınan bulut depolamasına erişimi yönetmek için aşağıdaki nesne türlerini kullanır:

• Depolama kimlik bilgileri, bulut depolamaya erişim sağlayan uzun vadeli bir bulut kimlik bilgilerini (örneğin, Azure Data Lake Storage 2. Nesil kapsayıcısına veya Cloudflare R2 API belirtecine erişebilen bir Azure yönetilen kimliği) kapsüller. Bkz. Azure Data Lake Storage 2. Nesil bağlanmak için depolama kimlik bilgisi oluşturma ve Cloudflare R2'ye bağlanmak için depolama kimlik bilgisi oluşturma.
• Dış konumlar , depolama kimlik bilgilerine ve bulut depolama yoluna başvuru içerir.

Bkz. Unity Kataloğu'nu kullanarak bulut nesne depolamaya Bağlan.

Unity Kataloğu için kimlik yönetimi

Unity Kataloğu kullanıcıları, hizmet sorumlularını ve grupları çözümlemek ve izinleri zorunlu kılmak için Azure Databricks hesabındaki kimlikleri kullanır.

Hesaptaki kimlikleri yapılandırmak için Kullanıcıları, hizmet sorumlularını ve grupları yönetme başlığındaki yönergeleri izleyin. Unity Kataloğu'nda erişim denetimi ilkeleri oluşturduğunuzda bu kullanıcılara, hizmet sorumlularına ve gruplara bakın.

Unity Kataloğu kullanıcıları, hizmet sorumluları ve grupları da not defterindeki Unity Kataloğu verilerine, Databricks SQL sorgusuna, Katalog Gezgini'ne veya REST API komutuna erişmek için çalışma alanlarına eklenmelidir. Kullanıcıların, hizmet sorumlularının ve grupların çalışma alanlarına atanma işlemine kimlik federasyonu adı verilir.

Bir Unity Kataloğu meta veri deposunun eklendiği tüm çalışma alanları kimlik federasyonu için etkinleştirilir.

Gruplar için dikkat edilmesi gereken özel noktalar

Çalışma alanında zaten var olan tüm gruplar, hesap konsolunda Yerel Çalışma Alanı olarak etiketlenir. Bu çalışma alanı yerel grupları, erişim ilkelerini tanımlamak için Unity Kataloğu'nda kullanılamaz. Hesap düzeyi grupları kullanmanız gerekir. Bir komutta çalışma alanı yerel grubuna başvurulursa, bu komut grubun bulunamadığını belirten bir hata döndürür. Not defterlerine ve diğer yapıtlara erişimi yönetmek için daha önce çalışma alanı yerel gruplarını kullandıysanız, bu izinler etkin olmaya devam eder.

Bkz. Grupları yönetme.

Unity Kataloğu için Yönetici rolleri

Unity Kataloğu'nu yönetmek için hesap yöneticileri, meta veri deposu yöneticileri ve çalışma alanı yöneticileri yer alır:

Bkz. Unity Kataloğu'nda Yönetici ayrıcalıkları.

Unity Kataloğu'nda veri izinleri

Unity Kataloğu'nda veriler varsayılan olarak güvenlidir. Başlangıçta, kullanıcıların meta veri deposundaki verilere erişimi yoktur. Erişim bir meta veri deposu yöneticisi, nesnenin sahibi veya nesneyi içeren kataloğun veya şemanın sahibi tarafından verilebilir. Unity Kataloğu'ndaki güvenliği sağlanabilir nesneler hiyerarşiktir ve ayrıcalıklar aşağı doğru devralınır.

Katalog Gezgini, SQL komutları veya REST API'lerini kullanarak izinleri atayabilir ve iptal edebilirsiniz.

Bkz . Unity Kataloğu'nda ayrıcalıkları yönetme.

Unity Kataloğu için desteklenen işlem ve küme erişim modları

Unity Kataloğu, Databricks Runtime 11.3 LTS veya üzerini çalıştıran kümelerde desteklenir. Unity Kataloğu, tüm SQL ambarı işlem sürümlerinde varsayılan olarak desteklenir.

Databricks Runtime'ın önceki sürümlerinde çalışan kümeler, tüm Unity Kataloğu GA özellikleri ve işlevleri için destek sağlamaz.

Unity Kataloğu'ndaki verilere erişmek için kümelerin doğru erişim moduyla yapılandırılması gerekir. Unity Kataloğu varsayılan olarak güvenlidir. Bir küme Unity-Catalog özellikli erişim modlarından biriyle yapılandırılmamışsa (yani, paylaşılan veya atanmış), küme Unity Kataloğu'ndaki verilere erişemez. Bkz. Erişim modları.

Her Databricks Runtime sürümündeki Unity Kataloğu işlev değişiklikleri hakkında ayrıntılı bilgi için sürüm notlarına bakın.

Unity Kataloğu sınırlamaları erişim moduna ve Databricks Runtime sürümüne göre farklılık gösterir. Unity Kataloğu için bkz. İşlem erişim modu sınırlamaları.

Unity Kataloğu için veri kökeni

Unity Kataloğu'nu kullanarak Azure Databricks kümesinde veya SQL ambarında yürütülen herhangi bir dildeki sorgular arasında çalışma zamanı veri kökenini yakalayabilirsiniz. Köken, sütun düzeyine kadar yakalanır ve sorguyla ilgili not defterlerini, iş akışlarını ve panoları içerir. Daha fazla bilgi edinmek için bkz . Unity Kataloğu'nu kullanarak veri kökenini yakalama ve görüntüleme.

Lakehouse Federasyon ve Unity Kataloğu

Lakehouse Federation, Azure Databricks için sorgu federasyon platformudur. Sorgu federasyonu terimi, kullanıcıların ve sistemlerin tüm verileri birleşik bir sisteme geçirmeye gerek kalmadan birden çok silolu veri kaynağında sorgu çalıştırmasına olanak tanıyan bir özellik koleksiyonunu açıklar.

Azure Databricks, sorgu federasyonunu yönetmek için Unity Kataloğu'nu kullanır. Unity Kataloğu'nu, popüler dış veritabanı sistemlerine salt okunur bağlantılar yapılandırmak ve dış veritabanlarını yansıtan yabancı kataloglar oluşturmak için kullanırsınız. Unity Kataloğu'nun veri idaresi ve veri kökeni araçları, Azure Databricks çalışma alanlarınızdaki kullanıcılar tarafından yapılan tüm federasyon sorguları için veri erişiminin yönetilmesini ve denetlenmesini sağlar.

Bkz . Lakehouse Federasyonu nedir?

Kuruluşum için Unity Kataloğu'nu Nasıl yaparım? ayarladım?

Unity Kataloğu'nu ayarlamayı öğrenmek için bkz . Unity Kataloğu'nu ayarlama ve yönetme.

Desteklenen bölgeler

Tüm bölgeler Unity Kataloğu'nu destekler. Ayrıntılar için bkz . Azure Databricks bölgeleri.

Desteklenen veri dosyası biçimleri

Unity Kataloğu aşağıdaki tablo biçimlerini destekler:

• Yönetilen tablolar tablo biçimini kullanmalıdır delta .
• Dış tablolar , , CSV, JSON, avro, parquet, ORCveya textkullanabilirdelta.

Unity Kataloğu sınırlamaları

Unity Kataloğu aşağıdaki sınırlamalara sahiptir.

Not

Kümeniz 11.3 LTS'nin altındaki bir Databricks Runtime sürümünde çalışıyorsa, burada listelenmeyen ek sınırlamalar olabilir. Unity Kataloğu Databricks Runtime 11.3 LTS veya üzerinde desteklenir.

Unity Kataloğu sınırlamaları Databricks Runtime ve erişim moduna göre farklılık gösterir. Yapılandırılmış Akış iş yüklerinin Databricks Runtime ve erişim modunu temel alan ek sınırlamaları vardır. Unity Kataloğu için bkz. İşlem erişim modu sınırlamaları.

• R'deki iş yükleri, satır düzeyi veya sütun düzeyi güvenlik için dinamik görünümlerin kullanımını desteklemez.

• Databricks Runtime 13.3 LTS ve üzeri sürümlerde, mevcut Unity Kataloğu yönetilen tablolarından Unity Kataloğu yönetilen tabloları oluşturmak için sığ klonlar desteklenir. Databricks Runtime 12.2 LTS ve altında Unity Kataloğu'nda sığ kopya desteği yoktur. Bkz . Unity Kataloğu tabloları için basit kopya.

• Unity Kataloğu tablolarında demetleme desteklenmez. Unity Kataloğu'nda demetli tablo oluşturmaya çalışan komutları çalıştırırsanız, bu bir özel durum oluşturur.

• Birden çok bölgede çalışma alanlarından aynı yola veya Delta Lake tablosuna yazmak, bazı kümeler Unity Kataloğu'na erişmezse ve diğerleri erişmezse güvenilir olmayan bir performansa yol açabilir.

• gibi ALTER TABLE ADD PARTITION komutlar kullanılarak oluşturulan özel bölüm düzenleri Unity Kataloğu'ndaki tablolar için desteklenmez. Unity Kataloğu, dizin stili bölümleme kullanan tablolara erişebilir.

• Unity Kataloğuna DataFrame yazma işlemleri için üzerine yazma modu, diğer dosya biçimleri için değil yalnızca Delta tabloları için desteklenir. Kullanıcının üst şemada ayrıcalığına sahip CREATE olması ve var olan nesnenin sahibi olması veya nesne üzerinde ayrıcalığına sahip MODIFY olması gerekir.

• Databricks Runtime 13.3 LTS ve üzerinde Python skaler UDF'ler desteklenir. Databricks Runtime 12.2 LTS ve altında, Spark üzerinde UDAF'ler, UDF'ler ve Pandas dahil olmak üzere Python UDF'lerini kullanamazsınız (applyInPandas ve mapInPandas).

• Databricks Runtime 14.2 ve üzerinde Scala skaler UDF'ler paylaşılan kümelerde desteklenir. Databricks Runtime 14.1 ve altında, paylaşılan kümelerde tüm Scala UDF'leri desteklenmez.

• Daha önce bir çalışma alanında oluşturulmuş gruplar (çalışma alanı düzeyinde gruplar), Unity Kataloğu GRANT deyimlerinde kullanılamaz. Bu, çalışma alanlarına yayılabilir grupların tutarlı bir görünümünü sağlamaktır. GRUPLARı GRANT deyimlerinde kullanmak için, gruplarınızı hesap düzeyinde oluşturun ve çalışma alanı uç noktaları yerine hesap uç noktalarına başvurmak üzere sorumlu veya grup yönetimi (SCIM, Okta ve Microsoft Entra ID (eski adıYla Azure Active Directory) bağlayıcıları ve Terraform gibi) otomasyonlarını güncelleştirin. Bkz. Hesap grupları ve çalışma alanı-yerel gruplar arasındaki fark.

• Standart Scala iş parçacığı havuzları desteklenmez. Bunun yerine içindeki özel iş parçacığı havuzlarını org.apache.spark.util.ThreadUtilskullanın, örneğin, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Ancak içindeki aşağıdaki iş parçacığı havuzları ThreadUtils desteklenmez: ThreadUtils.newForkJoinPool ve herhangi bir ScheduledExecutorService iş parçacığı havuzu.

• Denetim günlüğü yalnızca çalışma alanı düzeyinde Unity Kataloğu olayları için desteklenir. Meta veri deposu oluşturma gibi bir çalışma alanına başvurmadan hesap düzeyinde gerçekleşen olaylar günlüğe kaydedilmez.

Unity Kataloğu'ndaki tüm nesne adları için aşağıdaki sınırlamalar geçerlidir:

• Nesne adları 255 karakteri aşamaz.
• Aşağıdaki özel karakterlere izin verilmez:
  • Dönem (.)
  • Boşluk ( )
  • Eğik çizgi (/)
  • Tüm ASCII denetim karakterleri (00-1F onaltılık)
  • DELETE karakteri (7F onaltılık)
• Unity Kataloğu tüm nesne adlarını küçük harf olarak depolar.
• SQL'de UC adlarına başvururken, kısa çizgi (-) gibi özel karakterler içeren adlardan kurtulmak için arka uçları kullanmanız gerekir.

Not

Sütun adları özel karakterler kullanabilir, ancak özel karakterler kullanılıyorsa tüm SQL deyimlerinde adın arka uçlarla birlikte kaçış karakteri kullanılması gerekir. Unity Kataloğu sütun adı büyük/küçük harf kullanımını korur, ancak Unity Kataloğu tablolarındaki sorgular büyük/küçük harfe duyarlı değildir.

Unity Kataloğu'ndaki modeller için ek sınırlamalar vardır. Bkz . Unity Kataloğu desteğiyle ilgili sınırlamalar.

Kaynak kotaları

Unity Kataloğu, tüm güvenliği sağlanabilir nesnelerde kaynak kotalarını zorunlu kılar. Limitler, Unity Kataloğu boyunca aynı hiyerarşik düzene uyar. Bu kaynak sınırlarını aşmayı düşünüyorsanız Azure Databricks hesap ekibinize başvurun.

Aşağıdaki kota değerleri Unity Kataloğu'ndaki üst (veya üstün üstü) nesneye göre ifade edilir.

Object	Parent	Değer
table	schema	10000
table	meta veri deposu	100000
hacim	schema	10000
function	schema	10000
kayıtlı model	schema	1000
kayıtlı model	meta veri deposu	Kategori 5000
model sürümü	kayıtlı model	10000
model sürümü	meta veri deposu	100000
schema	katalog	10000
katalog	meta veri deposu	1000
bağlantı	meta veri deposu	1000
depolama kimlik bilgisi	meta veri deposu	200
dış konum	meta veri deposu	500

Delta Paylaşım sınırları için bkz . Kaynak kotaları.