Memantau penggunaan dengan tabel sistem

  • Artikel

Penting

Fitur ini ada di Pratinjau Publik. Saat ini tidak ada biaya untuk menggunakan fitur ini. Di masa mendatang, beberapa penggunaan ini mungkin dikenakan biaya.

Artikel ini menjelaskan konsep tabel sistem di Azure Databricks dan menyoroti sumber daya yang bisa Anda gunakan untuk mendapatkan hasil maksimal dari data tabel sistem Anda.

Apa itu tabel sistem?

Tabel sistem adalah penyimpanan analitik yang dihosting Azure Databricks dari data operasional akun Anda yang system ditemukan di katalog. Tabel sistem dapat digunakan untuk pengamatan historis di seluruh akun Anda.

Catatan

Untuk dokumentasi tentang system.information_schema, lihat Skema informasi.

Persyaratan

Untuk mengakses tabel sistem, ruang kerja Anda harus diaktifkan untuk Katalog Unity. Untuk informasi selengkapnya, lihat Mengaktifkan skema tabel sistem.

Tabel sistem mana yang tersedia?

Saat ini, Azure Databricks menghosting tabel sistem untuk:

Table Deskripsi Lokasi Mendukung streaming Retensi Menyertakan data global atau regional
Log audit Menyertakan rekaman untuk semua peristiwa audit dari ruang kerja di wilayah Anda. Untuk daftar peristiwa audit yang tersedia, lihat Referensi log diagnostik. system.access.audit Ya 365 hari Regional untuk peristiwa tingkat ruang kerja. Global untuk peristiwa tingkat akun.
Silsilah tabel Menyertakan rekaman untuk setiap peristiwa baca atau tulis pada tabel atau jalur Katalog Unity. system.access.table_lineage Ya 365 hari Wilayah
Silsilah kolom Menyertakan rekaman untuk setiap peristiwa baca atau tulis pada kolom Katalog Unity (tetapi tidak menyertakan peristiwa yang tidak memiliki sumber). system.access.column_lineage Ya 365 hari Wilayah
Penggunaan yang dapat ditagih Menyertakan rekaman untuk semua penggunaan yang dapat ditagih di seluruh akun Anda. Setiap catatan penggunaan adalah agregat per jam dari penggunaan sumber daya yang dapat ditagih. system.billing.usage Ya 365 hari Global
Harga Log historis harga SKU. Catatan ditambahkan setiap kali ada perubahan pada harga SKU. system.billing.list_prices No T/A Global
Kluster Tabel dimensi yang berubah lambat yang berisi riwayat lengkap konfigurasi kluster dari waktu ke waktu untuk kluster apa pun. system.compute.clusters Ya Tidak Wilayah
Jenis node Menangkap jenis node yang saat ini tersedia dengan informasi perangkat keras dasarnya. system.compute.node_types No T/A Wilayah
Peristiwa gudang SQL Menangkap peristiwa yang terkait dengan gudang SQL. Misalnya, memulai, menghentikan, menjalankan, meningkatkan dan menurunkan skala. system.compute.warehouse_events Ya 365 hari Wilayah
Peristiwa corong marketplace Termasuk kesan konsumen dan data corong untuk daftar Anda. system.marketplace.listing_

funnel_events		 Ya 365 hari Wilayah
Akses daftar marketplace Menyertakan info konsumen untuk data permintaan yang telah selesai atau mendapatkan peristiwa data di daftar Anda. system.marketplace.listing_

access_events		 Ya 365 hari Wilayah
Pengoptimalan prediktif Melacak riwayat operasi fitur pengoptimalan prediktif. system.storage.predictive_

optimization_operations_history		 No 180 hari Wilayah

Catatan

Anda mungkin melihat tabel sistem lain di akun Anda selain tabel yang tercantum di atas. Tabel tersebut berada di Pratinjau Privat saat ini dan kosong secara default. Jika Anda tertarik menggunakan salah satu tabel ini, silakan hubungi tim akun Databricks Anda.

Mengaktifkan skema tabel sistem

Karena tabel sistem diatur oleh Unity Catalog, Anda harus memiliki setidaknya satu ruang kerja yang mendukung Unity Catalog di akun Anda untuk mengaktifkan dan mengakses tabel sistem. Tabel sistem menyertakan data dari semua ruang kerja di akun Anda tetapi hanya dapat diakses dari ruang kerja yang mendukung Katalog Unity.

Tabel sistem diaktifkan pada tingkat skema. Jika Anda mengaktifkan skema sistem, Anda mengaktifkan semua tabel dalam skema tersebut. Saat skema baru dirilis, admin akun perlu mengaktifkan skema secara manual.

Tabel sistem harus diaktifkan oleh admin akun. Anda dapat mengaktifkan tabel sistem menggunakan API SystemSchemas.

Mencantumkan skema sistem yang tersedia

Gunakan perintah curl berikut untuk menampilkan daftar skema sistem yang tersedia:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

Berikut ini adalah contoh output perintah GET :

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: Skema sistem tersedia tetapi belum diaktifkan.

state: EnableCompleted: Anda telah mengaktifkan skema sistem dan skema tersebut terlihat di Catalog Explorer.

Mengaktifkan skema sistem

Gunakan perintah curl berikut untuk mengaktifkan skema sistem:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Jika skema sistem berhasil diaktifkan, kode 200 hasil dikembalikan.

Jika Anda mencoba mengaktifkan kembali skema sistem, berikut ini dikembalikan: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

Menonaktifkan skema sistem

Gunakan perintah curl berikut untuk menonaktifkan skema sistem:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Memberikan akses ke tabel sistem

Akses tabel sistem diatur oleh Katalog Unity. Secara default, tidak ada pengguna yang memiliki akses ke tabel sistem. Untuk memberikan akses, admin metastore atau pengguna istimewa lainnya harus memberikan USE izin dan SELECT pada skema sistem. Lihat Mengelola hak istimewa di Unity Catalog.

Tabel sistem bersifat baca-saja dan tidak dapat dimodifikasi.

Catatan

Jika akun Anda dibuat setelah 9 November 2023, Anda mungkin tidak memiliki admin metastore secara default. Untuk informasi selengkapnya, lihat Menyiapkan dan mengelola Katalog Unity.

Apakah tabel sistem berisi data untuk semua ruang kerja di akun Anda?

Log audit dan tabel silsilah data berisi data operasional untuk semua ruang kerja di akun Anda yang disebarkan dalam wilayah cloud yang sama. Tabel sistem penagihan (system.billing.usage) berisi data untuk semua ruang kerja di akun Anda, apa pun wilayah tempat mereka disebarkan.

Meskipun tabel sistem hanya dapat diakses melalui ruang kerja Unity Catalog, tabel juga menyertakan data operasional untuk ruang kerja Katalog non-Unity di akun Anda.

Di mana tabel sistem berada?

Tabel sistem di akun Anda terletak di katalog yang disebut system, yang disertakan dalam setiap metastore Katalog Unity. system Dalam katalog, Anda akan melihat skema seperti access dan billing yang berisi tabel sistem.

Catatan

Selama tabel sistem Pratinjau Publik, Azure Databricks akan menyimpan semua data tabel sistem Anda.

Pertimbangan untuk tabel sistem streaming

Akses ke tabel sistem didukung oleh Berbagi Delta. Ketahui pertimbangan berikut saat streaming dengan Berbagi Delta:

  • Jika Anda menggunakan streaming dengan tabel sistem, atur opsi ke skipChangeCommittrue. Ini memastikan pekerjaan streaming tidak terganggu dari penghapusan dalam tabel sistem. Lihat Mengabaikan pembaruan dan penghapusan.
  • Trigger.AvailableNow tidak didukung dengan streaming Berbagi Delta. Ini akan dikonversi ke Trigger.Once.
  • Jika Anda menggunakan pemicu dalam pekerjaan streaming dan menemukan pekerjaan tidak mengejar versi tabel sistem terbaru, Databricks merekomendasikan untuk meningkatkan frekuensi pekerjaan terjadwal.

Masalah umum

  • Saat ini tidak ada dukungan untuk pemantauan real-time. Data diperbarui sepanjang hari. Jika Anda tidak melihat log untuk peristiwa terbaru, periksa kembali nanti.

  • Untuk mengaktifkan tabel sistem, Anda mungkin perlu memberikan akses jaringan ke tabel sistem Titik akhir penyimpanan Blob. Untuk melihat daftar titik akhir penyimpanan tabel sistem setiap wilayah, lihat Alamat IP titik akhir penyimpanan.

  • Skema system.operational_data sistem dan system.lineage tidak digunakan lagi dan akan berisi tabel kosong.