Sistem tablolarıyla kullanımı izleme
Önemli
Bu özellik Genel Önizlemededir. Şu anda bu özelliği kullanmak için ücret alınmaz. Gelecekte bu kullanımlardan bazıları ücretlendirilebilir.
Bu makalede Azure Databricks'teki sistem tabloları kavramı açıklanır ve sistem tabloları verilerinizden en iyi şekilde yararlanmak için kullanabileceğiniz kaynaklar vurgulanır.
Sistem tabloları nedir?
Sistem tabloları, hesabınızın katalogda bulunan işletimsel verilerinin Azure Databricks tarafından barındırılan system bir analiz deposu. Sistem tabloları, hesabınızdaki geçmiş gözlemlenebilirlik için kullanılabilir.
Not
ile ilgili system.information_schemabelgeler için bkz . Bilgi şeması.
Gereksinimler
Sistem tablolarına erişmek için çalışma alanınızın Unity Kataloğu için etkinleştirilmesi gerekir. Daha fazla bilgi için bkz . Sistem tablosu şemalarını etkinleştirme.
Hangi sistem tabloları kullanılabilir?
Şu anda Azure Databricks aşağıdakiler için sistem tablolarını barındırıyor:
| Table | Açıklama | Konum | Akış desteği | Bekletme | Genel veya bölgesel verileri dahil et |
|---|---|---|---|---|---|
| Denetim günlükleri | Bölgenizdeki çalışma alanlarındaki tüm denetim olaylarının kayıtlarını içerir. Kullanılabilir denetim olaylarının listesi için bkz . Tanılama günlüğü başvurusu. | system.access.audit |
Yes | 365 gün | Çalışma alanı düzeyindeki olaylar için bölgesel. Hesap düzeyindeki olaylar için genel. |
| Tablo kökeni | Unity Kataloğu tablosunda veya yolundaki her okuma veya yazma olayı için bir kayıt içerir. | system.access.table_lineage |
Yes | 365 gün | Bölgesel |
| Sütun kökeni | Unity Kataloğu sütunundaki her okuma veya yazma olayı için bir kayıt içerir (ancak kaynağı olmayan olayları içermez). | system.access.column_lineage |
Yes | 365 gün | Bölgesel |
| Faturalanabilir kullanım | Hesabınızdaki tüm faturalanabilir kullanımın kayıtlarını içerir. Her kullanım kaydı, kaynağın faturalanabilir kullanımının saatlik bir toplamıdır. | system.billing.usage |
Yes | 365 gün | Global |
| Fiyatlandırma | SKU fiyatlandırmasının geçmiş günlüğü. SKU fiyatında her değişiklik olduğunda bir kayıt eklenir. | system.billing.list_prices |
Hayır | YOK | Global |
| Kümeler | Herhangi bir küme için zaman içindeki küme yapılandırmalarının tam geçmişini içeren yavaş değişen bir boyut tablosu. | system.compute.clusters |
Yes | Hiçbiri | Bölgesel |
| Düğüm türleri | Şu anda kullanılabilir düğüm türlerini temel donanım bilgileriyle yakalar. | system.compute.node_types |
Hayır | YOK | Bölgesel |
| SQL ambarı olayları | SQL ambarlarıyla ilgili olayları yakalar. Örneğin, başlatma, durdurma, çalıştırma, ölçeği artırma ve azaltma. | system.compute.warehouse_events |
Yes | 365 gün | Bölgesel |
| Market hunisi etkinlikleri | Dökümleriniz için tüketici izlenimi ve huni verilerini içerir. | system.marketplace.listing_funnel_events |
Yes | 365 gün | Bölgesel |
| Market listeleme erişimi | Tamamlanmış istek verileri için tüketici bilgilerini içerir veya dökümlerinizdeki veri olaylarını alır. | system.marketplace.listing_access_events |
Yes | 365 gün | Bölgesel |
| Tahmine dayalı iyileştirme | Tahmine dayalı iyileştirme özelliğinin işlem geçmişini izler. | system.storage.predictive_optimization_operations_history |
Hayır | 180 gün | Bölgesel |
Not
Hesabınızda yukarıda listelenenlerin yanı sıra başka sistem tabloları da görebilirsiniz. Bu tablolar şu anda Özel Önizleme aşamasındadır ve varsayılan olarak boş durumdadır. Bu tablolardan herhangi birini kullanmak istiyorsanız lütfen Databricks hesap ekibinize ulaşın.
Sistem tablosu şemalarını etkinleştirme
Sistem tabloları Unity Kataloğu tarafından yönetildiğinden, sistem tablolarını etkinleştirmek ve bunlara erişmek için hesabınızda en az bir Unity Kataloğu etkin çalışma alanı olmalıdır. Sistem tabloları hesabınızdaki tüm çalışma alanlarındaki verileri içerir, ancak bunlara yalnızca Unity Kataloğu'nu etkinleştiren bir çalışma alanından erişilebilir.
Sistem tabloları şema düzeyinde etkinleştirilir. Bir sistem şemasını etkinleştirirseniz, bu şemadaki tüm tabloları etkinleştirirsiniz. Yeni şemalar yayımlandığında, hesap yöneticisinin şemayı el ile etkinleştirmesi gerekir.
Sistem tabloları bir hesap yöneticisi tarafından etkinleştirilmelidir. SystemSchemas API'sini kullanarak sistem tablolarını etkinleştirebilirsiniz.
Kullanılabilir sistem şemalarını listeleme
Kullanılabilir sistem şemalarını listelemek için aşağıdaki curl komutunu kullanın:
curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"
Aşağıda komutun örnek çıkışı verilmiştir GET :
{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}
state: AVAILABLE: Sistem şeması kullanılabilir ancak henüz etkinleştirilmemiştir.
state: EnableCompleted: Sistem şemasını etkinleştirdiniz ve Bu şema Katalog Gezgini'nde görünür.
Sistem şemasını etkinleştirme
Sistem şemasını etkinleştirmek için aşağıdaki curl komutunu kullanın:
curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"
Sistem şeması başarıyla etkinleştirilirse sonuç kodu 200 döndürülür.
Bir sistem şemasını yeniden etkinleştirmeye çalışırsanız, aşağıdakiler döndürülür: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".
Sistem şemasını devre dışı bırakma
Sistem şemasını devre dışı bırakmak için aşağıdaki curl komutunu kullanın:
curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"
Sistem tablolarına erişim izni verme
Sistem tablosu erişimi Unity Kataloğu tarafından yönetilir. Varsayılan olarak, hiçbir kullanıcının sistem tablolarına erişimi yoktur. Erişim vermek için bir meta veri deposu yöneticisinin veya diğer ayrıcalıklı kullanıcının sistem şemaları üzerinde ve SELECT izinleri vermesi USE gerekir. Bkz . Unity Kataloğu'nda ayrıcalıkları yönetme.
Sistem tabloları salt okunur durumdadır ve değiştirilemez.
Not
Hesabınız 9 Kasım 2023'den sonra oluşturulduysa, varsayılan olarak bir meta veri deposu yöneticiniz olmayabilir. Daha fazla bilgi için bkz . Unity Kataloğu'nu ayarlama ve yönetme.
Sistem tabloları hesabınızdaki tüm çalışma alanları için veri içeriyor mu?
Denetim günlüğü ve köken tabloları, hesabınızdaki aynı bulut bölgesine dağıtılan tüm çalışma alanları için işletimsel veriler içerir. Faturalama sistemi tablosu (system.billing.usage), hangi bölgede dağıtılırlarsa dağıtılsınlar hesabınızdaki tüm çalışma alanlarının verilerini içerir.
Sistem tablolarına yalnızca Unity Kataloğu çalışma alanı üzerinden erişilebilir olsa da, tablolar hesabınızdaki Unity Kataloğu olmayan çalışma alanları için işlem verilerini de içerir.
Sistem tabloları nerede bulunur?
Hesabınızdaki sistem tabloları, her Unity Kataloğu meta veri deposunda bulunan adlı systembir katalogda bulunur. Katalogda system ve gibi accessbilling sistem tablolarını içeren şemaları görürsünüz.
Not
Genel Önizleme sistem tabloları sırasında Azure Databricks tüm sistem tablolarınızın verilerini korur.
Akış sistemi tabloları için dikkat edilmesi gerekenler
Sistem tablolarına erişim Delta Sharing tarafından desteklenir. Delta Sharing ile akış yaparken aşağıdaki noktalara dikkat edin:
- Sistem tablolarıyla akış kullanıyorsanız seçeneğini olarak
trueayarlayınskipChangeCommit. Bu, akış işinin sistem tablolarındaki silmelerden kesintiye uğramamasını sağlar. Bkz. Güncelleştirmeleri ve silmeleri yoksayma. Trigger.AvailableNowDelta Sharing akışında desteklenmez. bu, olarakTrigger.Oncedönüştürülür.- Akış işinizde bir tetikleyici kullanırsanız ve işin en son sistem tablosu sürümüne yetişemediğini fark ederseniz Databricks işin zamanlanmış sıklığını artırmanızı önerir.
Bilinen sorunlar
Şu anda gerçek zamanlı izleme desteği bulunmuyor. Veriler gün boyunca güncelleştirilir. Son olay için bir günlük görmüyorsanız daha sonra tekrar kontrol edin.
Sistem tablolarını etkinleştirmek için sistem tabloları Blob depolama uç noktasına ağ erişimi vermeniz gerekebilir. Her bölgenin sistem tablolarının depolama uç noktasının listesini görüntülemek için bkz. Depolama uç nokta IP adresleri.
sistem şemaları
system.operational_datavesystem.lineagekullanım dışıdır ve boş tablolar içerir.
Geri Bildirim
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz. https://aka.ms/ContentUserFeedback.
Gönderin ve geri bildirimi görüntüleyin