Apa itu Katalog Unity?

Artikel ini memperkenalkan Unity Catalog, solusi tata kelola terpadu untuk data dan aset AI di databricks lakehouse.

Gambaran Umum Katalog Unity

Unity Catalog menyediakan kemampuan kontrol akses terpusat, audit, silsilah data, dan penemuan data di seluruh ruang kerja Azure Databricks.

Fitur utama Unity Catalog di antaranya:

• Tentukan sekali, aman di mana saja: Unity Catalog menawarkan satu tempat untuk mengelola kebijakan akses data yang berlaku di semua ruang kerja.
• Model keamanan yang sesuai dengan standar: Model keamanan Katalog Unity didasarkan pada SQL ANSI standar, serta memungkinkan administrator untuk memberikan izin pada tingkat katalog, database (juga disebut skema), tabel, dan tampilan di danau data yang ada menggunakan sintaksis yang sudah dikenal.
• Audit dan silsilah data bawaan: Katalog Unity secara otomatis mengambil log audit tingkat pengguna yang merekam akses ke data Anda. Katalog Unity juga mengambil data silsilah data yang melacak cara aset data dibuat dan digunakan di semua bahasa.
• Penemuan data: Unity Catalog memungkinkan Anda menandai dan mendokumen aset data, dan menyediakan antarmuka pencarian untuk membantu konsumen data menemukan data.
• Tabel sistem (Pratinjau Umum): Unity Catalog memungkinkan Anda dengan mudah mengakses dan mengkueri data operasional akun Anda, termasuk log audit, penggunaan yang dapat ditagih, dan silsilah data.

Bagaimana Katalog Unity mengatur akses ke data dan aset AI di penyimpanan objek cloud?

Databricks merekomendasikan agar Anda mengonfigurasi semua akses ke penyimpanan objek cloud menggunakan Unity Catalog. Lihat Koneksi ke penyimpanan objek cloud menggunakan Unity Catalog.

Unity Catalog memperkenalkan konsep berikut untuk mengelola hubungan antara data di Azure Databricks dan penyimpanan objek cloud:

• Kredensial penyimpanan merangkum kredensial cloud jangka panjang yang menyediakan akses pada penyimpanan cloud. Misalnya, identitas terkelola Azure yang dapat mengakses kontainer Azure Data Lake Storage Gen2 atau token Cloudflare R2 API. Lihat Membuat kredensial penyimpanan untuk menyambungkan ke Azure Data Lake Storage Gen2 dan Membuat kredensial penyimpanan untuk menyambungkan ke Cloudflare R2.
• Lokasi eksternal berisi referensi pada kredensial penyimpanan dan jalur penyimpanan cloud. Lihat Membuat lokasi eksternal untuk menyambungkan penyimpanan cloud ke Azure Databricks.
• Lokasi penyimpanan terkelola mengaitkan lokasi penyimpanan dalam kontainer Azure Data Lake Storage Gen2 atau wadah Cloudflare R2 di akun penyimpanan cloud Anda sendiri dengan metastore, katalog, atau skema. Lokasi penyimpanan terkelola digunakan sebagai lokasi penyimpanan default untuk tabel terkelola dan volume terkelola. Lihat Menentukan lokasi penyimpanan terkelola di Katalog Unity.
• Volume menyediakan akses ke data non-tabular yang disimpan di penyimpanan objek cloud. Lihat Membuat dan bekerja dengan volume.
• Tabel menyediakan akses ke data tabular yang disimpan di penyimpanan objek cloud.

Catatan

Federasi Lakehouse menyediakan integrasi ke data di sistem eksternal lainnya. Objek ini tidak didukung oleh penyimpanan objek cloud.

Model objek Katalog Unity

Di Katalog Unity, hierarki objek data utama mengalir dari metastore ke tabel atau volume:

• Metastore: Kontainer tingkat atas bagi metadata. Setiap metastore akan mengekspos namespace tiga tingkat (catalog.schema.table) yang mengatur data Anda.
• Katalog: Lapisan pertama hierarki objek, yang digunakan untuk mengatur aset data Anda.
• Skema: Juga dikenal sebagai database, skema adalah lapisan kedua dari hierarki objek yang berisi tabel dan tampilan.
• Tabel, tampilan, dan volume: Pada tingkat terendah dalam hierarki objek data adalah tabel, tampilan, dan volume. Volume menyediakan tata kelola untuk data non-tabular.
• Model: Meskipun tidak, secara ketat, aset data, model terdaftar juga dapat dikelola di Unity Catalog dan berada di tingkat terendah dalam hierarki objek.

Ini adalah tampilan yang disederhanakan dari objek Katalog Unity yang dapat diamankan. Untuk detail selengkapnya, lihat Objek yang dapat diamankan di Katalog Unity.

Anda mereferensikan semua data di Unity Catalog menggunakan namespace tiga tingkat: catalog.schema.asset, di mana asset bisa berupa tabel, tampilan, volume, atau model.

Metastore

Metastore adalah wadah objek tingkat-atas di Katalog Unity. Ini mendaftarkan metadata tentang data dan aset AI dan izin yang mengatur akses ke mereka. Admin akun Azure Databricks harus membuat satu metastore untuk setiap wilayah tempat mereka beroperasi dan menetapkannya ke ruang kerja Azure Databricks di wilayah yang sama. Agar ruang kerja menggunakan Katalog Unity, ruang kerja perlu memiliki metastore Unity Catalog yang terpasang.

Metastore dapat dikonfigurasi secara opsional dengan lokasi penyimpanan terkelola dalam kontainer Azure Data Lake Storage Gen2 atau wadah Cloudflare R2 di akun penyimpanan cloud Anda sendiri. Lihat Penyimpanan terkelola.

Catatan

Metastore ini berbeda dari metastore Apache Hive yang disertakan dalam ruang kerja Azure Databricks yang belum diaktifkan untuk Unity Catalog. Jika ruang kerja Anda menyertakan metastore Apache Hive warisan, data di metastore tersebut masih akan tersedia bersama data yang ditentukan dalam Katalog Unity, dalam katalog bernama hive_metastore. Perhatikan bahwa katalog tidak dikelola oleh Katalog Unity dan tidak mendapat manfaat dari kumpulan fitur yang sama dengan katalog yang hive_metastore ditentukan dalam Katalog Unity.

Lihat Membuat metastore Katalog Unity.

Katalog

Katalog adalah lapisan pertama dari namespace tiga tingkat. Katalog ini digunakan untuk mengatur aset data Anda. Pengguna dapat melihat semua katalog yang USE CATALOGizin datanyasudah diberikan kepada mereka.

Bergantung pada bagaimana ruang kerja Anda dibuat dan diaktifkan untuk Unity Catalog, pengguna Anda mungkin memiliki izin default pada katalog yang disediakan secara otomatis, termasuk main katalog atau katalog ruang kerja (<workspace-name>). Untuk informasi selengkapnya, lihat Hak istimewa pengguna default.

Lihat Membuat dan mengelola katalog.

Skema

Skema (disebut juga database) adalah lapisan kedua dari namespace tiga tingkat Katalog Unity yang mengatur tabel dan tampilan. Skema mengatur tabel serta tampilan. Pengguna dapat melihat semua skema tempat mereka diberi USE SCHEMA izin, bersama dengan USE CATALOG izin pada katalog induk skema. Untuk mengakses atau mencantumkan tabel atau tampilan dalam skema, pengguna juga harus memiliki SELECT izin pada tabel atau tampilan.

Jika ruang kerja Anda diaktifkan untuk Katalog Unity secara manual, ruang kerja tersebut menyertakan skema default bernama default dalam main katalog yang dapat diakses oleh semua pengguna di ruang kerja Anda. Jika ruang kerja Anda diaktifkan untuk Katalog Unity secara otomatis dan menyertakan <workspace-name> katalog, katalog tersebut berisi skema bernama default yang dapat diakses oleh semua pengguna di ruang kerja Anda.

Lihat Membuat dan mengelola skema (database).

Tabel

Tabel berada di lapisan ketiga ruang nama tiga tingkat Katalog Unity dan berisi baris-baris data. Tabel berisi baris data. Untuk membuat suatu tabel, pengguna harus memiliki izin CREATE serta USE SCHEMA pada skema dan izin USE CATALOG pada katalog induknya. Untuk mengkueri tabel, pengguna harus memiliki SELECT izin pada tabel, USE SCHEMA izin pada skema induknya, dan USE CATALOG izin pada katalog induknya.

Tabel dapat bersifat terkelola atau eksternal.

Tabel terkelola

Tabel terkelola adalah cara yang lebih disukai untuk membuat tabel di Unity Catalog. Katalog Unity mengelola siklus hidup dan tata letak file untuk tabel ini. Unity Catalog juga mengoptimalkan performanya secara otomatis. Anda tidak boleh menggunakan alat di luar Azure Databricks untuk memanipulasi file dalam tabel ini secara langsung. Tabel terkelola selalu menggunakan format tabel Delta .

Untuk ruang kerja yang diaktifkan untuk Katalog Unity secara manual, tabel terkelola disimpan di lokasi penyimpanan akar yang Anda konfigurasi saat membuat metastore. Anda dapat secara opsional menentukan lokasi penyimpanan tabel terkelola di tingkat katalog atau skema, menimpa lokasi penyimpanan akar.

Untuk ruang kerja yang diaktifkan untuk Katalog Unity secara otomatis, lokasi penyimpanan akar metastore bersifat opsional, dan tabel terkelola biasanya disimpan di tingkat katalog atau skema.

Saat tabel terkelola dihapus, data yang mendasarinya akan dihapus dari penyewa cloud Anda dalam 30 hari.

Lihat Tabel terkelola.

Tabel eksternal

Tabel eksternal adalah tabel yang siklus hidup data dan tata letak filenya tidak dikelola oleh Unity Catalog. Gunakan tabel eksternal untuk mendaftarkan sejumlah besar data yang ada di Unity Catalog, atau jika Anda memerlukan akses langsung ke data menggunakan alat di luar kluster Azure Databricks atau gudang Databricks SQL.

Saat Anda menghapus tabel eksternal, Katalog Unity tidak menghapus data yang mendasarinya. Anda dapat mengelola hak istimewa pada tabel eksternal dan menggunakannya dalam kueri dengan cara yang sama seperti tabel terkelola.

Tabel eksternal dapat menggunakan format file berikut:

• DELTA
• CSV
• JSON
• AVRO
• PARKET
• ORC
• TEXT

Lihat Tabel eksternal.

Tampilan

Tampilan adalah objek baca-saja yang dibuat dari satu atau lebih tabel dan tampilan pada metastore. Tabel berada di lapisan ketiga namespace tiga tingkat Unity Catalog. Tampilan dapat disusun dari tabel serta tampilan lainnya dalam beberapa skema atau katalog. Anda dapat membuat tampilan dinamis untuk mengaktifkan izin tingkat baris dan kolom.

Lihat Membuat tampilan dinamis.

Volume

Volume berada di lapisan ketiga namespace layanan tiga tingkat Unity Catalog. Volume adalah saudara kandung dari tabel, tampilan, dan objek lain yang diatur di bawah skema di Unity Catalog.

Volume berisi direktori dan file untuk data yang disimpan dalam format apa pun. Volume menyediakan akses non-tabular ke data, yang berarti bahwa file dalam volume tidak dapat didaftarkan sebagai tabel.

• Untuk membuat volume, pengguna harus memiliki CREATE VOLUME izin dan USE SCHEMA pada skema, dan mereka harus memiliki USE CATALOG izin pada katalog induknya.
• Untuk membaca file dan direktori yang disimpan di dalam volume, pengguna harus memiliki READ VOLUME izin, USE SCHEMA izin pada skema induknya, dan USE CATALOG izin pada katalog induknya.
• Untuk menambahkan, menghapus, atau mengubah file dan direktori yang disimpan di dalam volume, pengguna harus memiliki WRITE VOLUME izin, USE SCHEMA izin pada skema induknya, dan USE CATALOG izin pada katalog induknya.

Volume dapat dikelola atau eksternal.

Catatan

Saat Anda menentukan volume, akses URI cloud ke data di bawah jalur volume diatur oleh izin volume.

Volume terkelola

Volume terkelola adalah solusi yang nyaman ketika Anda ingin menyediakan lokasi yang diatur untuk bekerja dengan file non-tabular.

Volume terkelola menyimpan file di lokasi penyimpanan default Katalog Unity untuk skema tempat file tersebut dimuat. Untuk ruang kerja yang diaktifkan untuk Katalog Unity secara manual, volume terkelola disimpan di lokasi penyimpanan akar yang Anda konfigurasi saat membuat metastore. Anda dapat secara opsional menentukan lokasi penyimpanan volume terkelola di tingkat katalog atau skema, menimpa lokasi penyimpanan akar. Untuk ruang kerja yang diaktifkan untuk Katalog Unity secara otomatis, lokasi penyimpanan akar metastore bersifat opsional, dan volume terkelola biasanya disimpan di tingkat katalog atau skema.

Prioritas berikut mengatur lokasi mana yang digunakan untuk volume terkelola:

• Lokasi skema
• Lokasi katalog
• Lokasi penyimpanan akar metastore Katalog Unity

Saat Anda menghapus volume terkelola, file yang disimpan dalam volume ini juga dihapus dari penyewa cloud Anda dalam waktu 30 hari.

Lihat Apa itu volume terkelola?.

Volume eksternal

Volume eksternal didaftarkan ke lokasi eksternal Katalog Unity dan menyediakan akses ke file yang ada di penyimpanan cloud tanpa memerlukan migrasi data. Pengguna harus memiliki CREATE EXTERNAL VOLUME izin di lokasi eksternal untuk membuat volume eksternal.

Volume eksternal mendukung skenario di mana file diproduksi oleh sistem lain dan dipentaskan untuk akses dari dalam Azure Databricks menggunakan penyimpanan objek atau di mana alat di luar Azure Databricks memerlukan akses file langsung.

Katalog Unity tidak mengelola siklus hidup dan tata letak file dalam volume eksternal. Saat Anda menghapus volume eksternal, Unity Catalog tidak menghapus data yang mendasar.

Lihat Apa itu volume eksternal?.

Model

Model berada di lapisan ketiga namespace layanan tiga tingkat Unity Catalog. Dalam konteks ini, "model" mengacu pada model pembelajaran mesin yang terdaftar di MLflow Model Registry. Untuk membuat model di Unity Catalog, pengguna harus memiliki CREATE MODEL hak istimewa untuk katalog atau skema. Pengguna juga harus memiliki USE CATALOG hak istimewa pada katalog induk dan USE SCHEMA pada skema induk.

Penyimpanan terkelola

Anda dapat menyimpan tabel terkelola dan volume terkelola di salah satu tingkat ini dalam hierarki objek Katalog Unity: metastore, katalog, atau skema. Penyimpanan pada tingkat yang lebih rendah dalam hierarki mengambil alih penyimpanan yang ditentukan pada tingkat yang lebih tinggi.

Saat admin akun membuat metastore secara manual, mereka memiliki opsi untuk menetapkan lokasi penyimpanan dalam kontainer Azure Data Lake Storage Gen2 atau wadah Cloudflare R2 di akun penyimpanan cloud Anda sendiri untuk digunakan sebagai penyimpanan tingkat metastore untuk tabel dan volume terkelola. Jika lokasi penyimpanan terkelola tingkat metastore telah ditetapkan, maka lokasi penyimpanan terkelola di katalog dan tingkat skema bersifat opsional. Meskipun demikian, penyimpanan tingkat metastore bersifat opsional, dan Databricks merekomendasikan untuk menetapkan penyimpanan terkelola di tingkat katalog untuk isolasi data logis. Lihat Tata kelola data dan blok penyusun isolasi data.

Penting

Jika ruang kerja Anda diaktifkan untuk Katalog Unity secara otomatis, metastore Unity Catalog dibuat tanpa penyimpanan terkelola tingkat metastore. Anda dapat memilih untuk menambahkan penyimpanan tingkat metastore, tetapi Databricks merekomendasikan untuk menetapkan penyimpanan terkelola di tingkat katalog dan skema. Untuk bantuan dalam memutuskan apakah Anda memerlukan penyimpanan tingkat metastore, lihat (Opsional) Membuat penyimpanan tingkat metastore dan Data dipisahkan secara fisik dalam penyimpanan.

Penyimpanan terkelola memiliki properti berikut:

• Tabel terkelola dan volume terkelola menyimpan data dan file metadata di penyimpanan terkelola.
• Lokasi penyimpanan terkelola tidak dapat tumpang tindih dengan tabel eksternal atau volume eksternal.

Tabel berikut ini menjelaskan bagaimana penyimpanan terkelola dideklarasikan dan terkait dengan objek Katalog Unity:

Objek Katalog Unity Terkait	Cara mengatur	Hubungan dengan lokasi eksternal
Metastore	Dikonfigurasi oleh admin akun selama pembuatan metastore atau ditambahkan setelah pembuatan metastore jika tidak ada penyimpanan yang ditentukan saat pembuatan.	Tidak dapat tumpang tindih dengan lokasi eksternal.
Katalog	Ditentukan selama pembuatan katalog menggunakan MANAGED LOCATION kata kunci.	Harus dimuat dalam lokasi eksternal.
Skema	Ditentukan selama pembuatan skema menggunakan MANAGED LOCATION kata kunci.	Harus dimuat dalam lokasi eksternal.

Lokasi penyimpanan terkelola yang digunakan untuk menyimpan data dan metadata untuk tabel terkelola dan volume terkelola menggunakan aturan berikut:

• Jika skema yang berisi memiliki lokasi terkelola, data disimpan di lokasi terkelola skema.
• Jika skema yang berisi tidak memiliki lokasi terkelola tetapi katalog memiliki lokasi terkelola, data disimpan di lokasi terkelola katalog.
• Jika skema yang berisi atau katalog yang berisi tidak memiliki lokasi terkelola, data disimpan di lokasi terkelola metastore.

Kredensial penyimpanan dan lokasi eksternal

Untuk mengelola akses ke penyimpanan cloud yang mendasar untuk tabel eksternal, volume eksternal, dan penyimpanan terkelola, Unity Catalog menggunakan jenis objek berikut:

• Kredensial penyimpanan merangkum kredensial cloud jangka panjang yang menyediakan akses ke penyimpanan cloud, misalnya, identitas terkelola Azure yang dapat mengakses kontainer Azure Data Lake Storage Gen2 atau token API Cloudflare R2. Lihat Membuat kredensial penyimpanan untuk menyambungkan ke Azure Data Lake Storage Gen2 dan Membuat kredensial penyimpanan untuk menyambungkan ke Cloudflare R2.
• Lokasi eksternal berisi referensi pada kredensial penyimpanan dan jalur penyimpanan cloud.

Lihat Koneksi ke penyimpanan objek cloud menggunakan Unity Catalog.

Manajemen identitas bagi Katalog Unity

Katalog Unity menggunakan identitas pada akun Azure Databricks untuk menyelesaikan pengguna, perwakilan layanan, dan grup, dan untuk menerapkan izin.

Untuk mengonfigurasi identitas di akun, ikuti instruksi di Mengelola pengguna, perwakilan layanan, dan grup. Lihat pengguna dan grup tingkat akun tersebut ketika membuat kebijakan kontrol-akses pada Katalog Unity.

Pengguna Katalog Unity, perwakilan layanan, dan grup juga harus ditambahkan ke ruang kerja untuk mengakses data Katalog Unity dalam buku catatan, kueri Databricks SQL, Catalog Explorer, atau perintah REST API. Penugasan pengguna, perwakilan layanan, serta grup ke ruang kerja disebut federasi identitas.

Semua ruang kerja yang memiliki metastore Unity Catalog yang melekat padanya diaktifkan bagi federasi identitas.

Pertimbangan khusus bagi grup

Setiap grup yang telah ada di ruang kerja akan dinamai Ruang kerja lokal pada konsol akun. Grup ruang kerja lokal ini tidak dapat digunakan dalam Katalog Unity untuk menentukan kebijakan akses. Anda perlu menggunakan grup tingkat akun. Jika grup ruang kerja lokal dirujuk dalam perintah, perintah tersebut akan menampilkan kesalahan bahwa grup tidak ditemukan. Jika sebelumnya Anda menggunakan grup ruang kerja lokal untuk mengelola akses ke notebook dan artefak lainnya, izin ini akan tetap berlaku.

Lihat Kelola grup.

Peran admin untuk Katalog Unity

Admin akun, admin metastore, dan admin ruang kerja terlibat dalam mengelola Unity Catalog:

Lihat Hak istimewa admin di Katalog Unity.

Izin data di Unity Catalog

Di Katalog Unity, data aman secara default. Awalnya, pengguna tidak memiliki akses ke data di metastore. Akses dapat diberikan oleh admin metastore, pemilik objek, atau pemilik katalog atau skema yang berisi objek. Objek yang dapat diamankan dalam Katalog Unity bersifat hierarkis dan hak istimewa diwariskan ke bawah.

Anda dapat menetapkan dan mencabut izin menggunakan Catalog Explorer, perintah SQL, atau REST API.

Lihat Mengelola hak istimewa di Unity Catalog.

Mode akses komputasi dan kluster yang didukung untuk Katalog Unity

Unity Catalog didukung pada kluster yang menjalankan Databricks Runtime 11.3 LTS atau lebih tinggi. Unity Catalog didukung secara default pada semua versi komputasi gudang SQL.

Kluster yang berjalan pada versi Databricks Runtime yang lebih lama tidak menyediakan dukungan untuk semua fitur dan fungsionalitas Ga Katalog Unity.

Untuk mengakses data pada Katalog Unity, kluster harus dikonfigurasi dengan mode akses yang benar. Katalog Unity itu aman secara default. Jika kluster tidak dikonfigurasi dengan salah satu mode akses berkemampuan Unity-Catalog (yaitu, dibagikan atau ditetapkan), kluster tidak dapat mengakses data di Unity Catalog. Lihat Mode akses.

Untuk informasi terperinci tentang perubahan fungsionalitas Unity Catalog di setiap versi Databricks Runtime, lihat catatan rilis.

Batasan untuk Unity Catalog bervariasi menurut mode akses dan versi Databricks Runtime. Lihat Batasan mode akses komputasi untuk Katalog Unity.

Silsilah data untuk Unity Catalog

Anda dapat menggunakan Unity Catalog untuk mengambil silsilah data runtime di seluruh kueri dalam bahasa apa pun yang dijalankan pada kluster Azure Databricks atau gudang SQL. Silsilah data diambil ke tingkat kolom, dan menyertakan buku catatan, alur kerja, dan dasbor yang terkait dengan kueri. Untuk mempelajari selengkapnya, lihat Mengambil dan melihat silsilah data menggunakan Katalog Unity.

Federasi Lakehouse dan Katalog Unity

Lakehouse Federation adalah platform federasi kueri untuk Azure Databricks. Istilah federasi kueri menjelaskan kumpulan fitur yang memungkinkan pengguna dan sistem menjalankan kueri terhadap beberapa sumber data yang di-silo tanpa perlu memigrasikan semua data ke sistem terpadu.

Azure Databricks menggunakan Unity Catalog untuk mengelola federasi kueri. Anda menggunakan Unity Catalog untuk mengonfigurasi koneksi baca-saja ke sistem database eksternal populer dan membuat katalog asing yang mencerminkan database eksternal. Tata kelola data dan alat silsilah data Unity Catalog memastikan bahwa akses data dikelola dan diaudit untuk semua kueri federasi yang dibuat oleh pengguna di ruang kerja Azure Databricks Anda.

Lihat Apa itu Federasi Lakehouse.

Bagaimana cara menyiapkan Katalog Unity bagi organisasi saya?

Untuk mempelajari cara menyiapkan Katalog Unity, lihat Menyiapkan dan mengelola Katalog Unity.

Wilayah yang didukung

Semua wilayah mendukung Katalog Unity. Untuk detailnya, lihat Wilayah Azure Databricks.

Format file data yang didukung

Katalog Unity mendukung format tabel berikut:

• Tabel terkeloladelta harus menggunakan format tabel.
• Tabel eksternal dapat menggunakan delta, , CSVJSON, avro, parquet, ORC, atau text.

Batasan Katalog Unity

Katalog Unity memiliki batasan berikut.

Catatan

Jika kluster Anda berjalan pada versi Databricks Runtime di bawah 11.3 LTS, mungkin ada batasan tambahan, tidak tercantum di sini. Unity Catalog didukung pada Databricks Runtime 11.3 LTS atau lebih tinggi.

Batasan Unity Catalog bervariasi menurut Databricks Runtime dan mode akses. Beban kerja Streaming Terstruktur memiliki batasan tambahan berdasarkan Databricks Runtime dan mode akses. Lihat Batasan mode akses komputasi untuk Katalog Unity.

• Beban kerja di R tidak mendukung penggunaan tampilan dinamis untuk keamanan tingkat baris atau tingkat kolom.

• Dalam Databricks Runtime 13.3 LTS ke atas, kloning dangkal didukung untuk membuat tabel terkelola Unity Catalog dari tabel terkelola Unity Catalog yang ada. Dalam Databricks Runtime 12.2 LTS dan di bawahnya, tidak ada dukungan untuk kloning dangkal di Unity Catalog. Lihat Kloning dangkal untuk tabel Unity Catalog.

• Bucketing tidak didukung untuk tabel Unity Catalog. Jika Anda menjalankan perintah yang mencoba membuat tabel yang di-bucket di Katalog Unity, perintah tersebut akan melemparkan pengecualian.

• Menulis ke jalur yang sama atau tabel Delta Lake dari ruang kerja di beberapa wilayah dapat menyebabkan performa yang tidak dapat diandalkan jika beberapa kluster mengakses Katalog Unity dan yang lain tidak.

• Skema partisi kustom yang dibuat menggunakan perintah seperti ALTER TABLE ADD PARTITION tidak didukung untuk tabel di Katalog Unity. Katalog Unity dapat mengakses tabel yang menggunakan partisi gaya direktori.

• Mode timpa untuk operasi penulisan DataFrame ke dalam Unity Catalog hanya didukung untuk tabel Delta, bukan untuk format file lainnya. Pengguna harus memiliki CREATE hak istimewa pada skema induk dan harus menjadi pemilik objek yang ada atau memiliki MODIFY hak istimewa pada objek.

• Dalam Databricks Runtime 13.3 LTS ke atas, UDF skalar Python didukung. Dalam Databricks Runtime 12.2 LTS dan di bawahnya, Anda tidak dapat menggunakan UDF Python, termasuk UDAF, UDTF, dan Panda di Spark (applyInPandas dan mapInPandas).

• Di Databricks Runtime 14.2 ke atas, UDF skalar Scala didukung pada kluster bersama. Di Databricks Runtime 14.1 ke bawah, semua UDF Scala tidak didukung pada kluster bersama.

• Grup yang sebelumnya dibuat di ruang kerja (yaitu, grup tingkat ruang kerja) tidak dapat digunakan dalam pernyataan Unity Catalog GRANT. Hal ini untuk memastikan tampilan grup yang konsisten yang dapat menjangkau seluruh ruang kerja. Untuk menggunakan grup dalam pernyataan GRANT, buat grup Anda di tingkat akun dan perbarui otomatisasi apa pun untuk manajemen utama atau grup (seperti konektor SCIM, Okta, dan MICROSOFT Entra ID (sebelumnya Azure Active Directory), dan Terraform) untuk mereferensikan titik akhir akun alih-alih titik akhir ruang kerja. Lihat Perbedaan antara grup akun dan grup ruang kerja-lokal.

• Kumpulan utas Scala standar tidak didukung. Sebagai gantinya, gunakan kumpulan utas khusus di org.apache.spark.util.ThreadUtils, misalnya, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Namun, kumpulan utas berikut di ThreadUtils tidak didukung: ThreadUtils.newForkJoinPool dan kumpulan utas apa pun ScheduledExecutorService .

• Pengelogan audit hanya didukung untuk peristiwa Katalog Unity di tingkat ruang kerja. Peristiwa yang berlangsung di tingkat akun tanpa referensi ke ruang kerja, seperti membuat metastore, tidak dicatat.

Batasan berikut berlaku untuk semua nama objek di Unity Catalog:

• Nama objek tidak boleh melebihi 255 karakter.
• Karakter khusus berikut ini tidak diperbolehkan:
  • Titik (.)
  • Spasi ( )
  • Garis miring (/)
  • Semua karakter kontrol ASCII (00-1F hex)
  • Karakter DELETE (heks 7F)
• Katalog Unity menyimpan semua nama objek sebagai huruf kecil.
• Saat mereferensikan nama UC di SQL, Anda harus menggunakan backtick untuk meloloskan nama yang berisi karakter khusus seperti tanda hubung (-).

Catatan

Nama kolom dapat menggunakan karakter khusus, tetapi nama harus diloloskan dengan backtick di semua pernyataan SQL jika karakter khusus digunakan. Katalog Unity mempertahankan casing nama kolom, tetapi kueri terhadap tabel Katalog Unity tidak peka huruf besar/kecil.

Batasan tambahan ada untuk model di Unity Catalog. Lihat Batasan.

Kuota sumber daya

Katalog Unity memberlakukan kuota sumber daya pada semua objek yang dapat diamankan. Batasan menghormati organisasi hierarkis yang sama di seluruh Unity Catalog. Jika Anda berharap melebihi batas sumber daya ini, hubungi tim akun Azure Databricks Anda.

Nilai kuota di bawah ini dinyatakan relatif terhadap objek induk (atau kakek-nenek) di Katalog Unity.

Objek	Parent	Nilai
tabel	skema	10000
tabel	metastore	100000
volume	skema	10000
fungsi	skema	10000
model terdaftar	skema	1000
model terdaftar	metastore	5000
versi model	model terdaftar	10000
versi model	metastore	100000
skema	katalog	10000
katalog	metastore	1000
koneksi	metastore	1000
info masuk penyimpanan	metastore	200
lokasi eksternal	metastore	500

Untuk batas Berbagi Delta, lihat Kuota sumber daya.