Tentukan lokasi penyimpanan terkelola di Katalog Unity
Lokasi penyimpanan terkelola menentukan lokasi di penyimpanan objek cloud untuk menyimpan data untuk tabel terkelola dan volume terkelola.
Anda dapat mengaitkan lokasi penyimpanan terkelola dengan metastore, katalog, atau skema. Lokasi penyimpanan terkelola pada tingkat yang lebih rendah di lokasi penyimpanan penimpaan hierarki yang ditentukan pada tingkat yang lebih tinggi saat tabel terkelola atau volume terkelola dibuat.
Saat admin akun membuat metastore, mereka dapat mengaitkan lokasi penyimpanan dalam kontainer Azure Data Lake Storage Gen2 atau wadah Cloudflare R2 di akun penyedia cloud Anda untuk digunakan sebagai lokasi penyimpanan terkelola. Lokasi penyimpanan terkelola di tingkat katalog dan skema bersifat opsional, tetapi Databricks merekomendasikan untuk menetapkan lokasi penyimpanan terkelola di tingkat katalog untuk isolasi data logis. Lihat Tata kelola data dan blok penyusun isolasi data.
Penting
Jika ruang kerja Anda diaktifkan untuk Katalog Unity secara otomatis, metastore Unity Catalog dibuat tanpa lokasi penyimpanan terkelola tingkat metastore. Anda harus menetapkan lokasi penyimpanan terkelola di tingkat katalog atau skema. Lihat Pengaktifan otomatis Unity Catalog dan Tata kelola data dan blok penyusun isolasi data.
Apa itu lokasi penyimpanan terkelola?
Lokasi penyimpanan terkelola memiliki properti berikut:
- Tabel terkelola dan volume terkelola menyimpan data dan file metadata di lokasi penyimpanan terkelola.
- Lokasi penyimpanan terkelola tidak dapat tumpang tindih dengan tabel eksternal atau volume eksternal.
Tabel berikut ini menjelaskan bagaimana lokasi penyimpanan terkelola dideklarasikan dan dikaitkan dengan objek Katalog Unity:
| Objek Katalog Unity Terkait | Cara mengatur | Hubungan dengan lokasi eksternal |
|---|---|---|
| Metastore | Dikonfigurasi oleh admin akun selama pembuatan metastore. | Tidak dapat tumpang tindih dengan lokasi eksternal. |
| Katalog | Ditentukan selama pembuatan katalog menggunakan MANAGED LOCATION kata kunci. |
Harus dimuat dalam lokasi eksternal. |
| Skema | Ditentukan selama pembuatan skema menggunakan MANAGED LOCATION kata kunci. |
Harus dimuat dalam lokasi eksternal. |
Lokasi penyimpanan terkelola yang menyimpan data dan metadata untuk tabel terkelola dan volume terkelola menggunakan aturan berikut:
- Jika skema yang berisi memiliki lokasi terkelola, data disimpan di lokasi terkelola skema.
- Jika skema yang berisi tidak memiliki lokasi terkelola tetapi katalog memiliki lokasi terkelola, data disimpan di lokasi terkelola katalog.
- Jika skema yang berisi atau katalog yang berisi tidak memiliki lokasi terkelola, data disimpan di lokasi terkelola metastore.
Katalog Unity mencegah tumpang tindih tata kelola lokasi. Lihat Bagaimana cara kerja jalur untuk data yang dikelola oleh Unity Catalog?.
Lokasi penyimpanan terkelola, akar penyimpanan, dan lokasi penyimpanan
Saat Anda menentukan MANAGED LOCATION untuk katalog atau skema, lokasi yang disediakan dilacak sebagai Akar Penyimpanan di Katalog Unity. Untuk memastikan bahwa semua entitas terkelola memiliki lokasi yang unik, Unity Catalog menambahkan subdirektori yang di-hash ke lokasi yang ditentukan, menggunakan format berikut:
| Objek | Jalur |
|---|---|
| Skema | <storage-root>/__unitystorage/schemas/00000000-0000-0000-0000-000000000000 |
| Katalog | <storage-root>/__unitystorage/catalogs/00000000-0000-0000-0000-000000000000 |
Jalur yang sepenuhnya memenuhi syarat untuk lokasi penyimpanan terkelola dilacak sebagai Lokasi Penyimpanan di Katalog Unity.
Anda dapat menentukan lokasi penyimpanan terkelola yang sama untuk beberapa skema dan katalog.
Hak istimewa yang diperlukan
Pengguna yang memiliki CREATE MANAGED STORAGE hak istimewa di lokasi eksternal dapat mengonfigurasi lokasi penyimpanan terkelola selama pembuatan katalog atau skema.
Lokasi penyimpanan terkelola yang ditetapkan di tingkat metastore harus dikonfigurasi oleh admin akun selama pembuatan metastore.
Mengatur lokasi penyimpanan terkelola untuk katalog
Atur lokasi penyimpanan terkelola untuk katalog dengan menggunakan MANAGED LOCATION kata kunci selama pembuatan katalog, seperti dalam contoh berikut:
CREATE CATALOG <catalog-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Mengatur lokasi penyimpanan terkelola untuk skema
Atur lokasi penyimpanan terkelola untuk skema dengan menggunakan MANAGED LOCATION kata kunci selama pembuatan skema, seperti dalam contoh berikut:
CREATE CATALOG <catalog>.<schema-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Langkah berikutnya
Kelola lokasi penyimpanan digunakan untuk membuat tabel terkelola dan volume terkelola. Lihat Membuat tabel di Unity Catalog dan Membuat dan bekerja dengan volume.