Övervaka användning med systemtabeller

Viktigt!

Den här funktionen finns som allmänt tillgänglig förhandsversion. Det finns för närvarande inga avgifter för att använda den här funktionen. I framtiden kan en del av den här användningen medföra en avgift.

Den här artikeln beskriver begreppet systemtabeller i Azure Databricks och markerar resurser som du kan använda för att få ut mesta möjliga av dina systemtabelldata.

Vad är systemtabeller?

Systemtabeller är ett Azure Databricks-värdbaserat analyslager för ditt kontos driftdata som finns i system katalogen. Systemtabeller kan användas för historisk observerbarhet i hela ditt konto.

Kommentar

Dokumentation om system.information_schemafinns i Informationsschema.

Krav

För att få åtkomst till systemtabeller måste arbetsytan vara aktiverad för Unity Catalog. Mer information finns i Aktivera systemtabellscheman.

Vilka systemtabeller är tillgängliga?

För närvarande är Azure Databricks värd för systemtabeller för:

Register	beskrivning	Location	Stöder direktuppspelning	Kvarhållning	Inkludera globala eller regionala data
Granskningsloggar	Innehåller poster för alla granskningshändelser från arbetsytor i din region. En lista över tillgängliga granskningshändelser finns i Referens för diagnostiklogg.	system.access.audit	Ja	365 dagar	Regionalt för händelser på arbetsytenivå. Global för händelser på kontonivå.
Tabell härkomst	Innehåller en post för varje läs- eller skrivhändelse i en Unity Catalog-tabell eller sökväg.	system.access.table_lineage	Ja	365 dagar	Regional
Kolumn härkomst	Innehåller en post för varje läs- eller skrivhändelse i en Unity Catalog-kolumn (men inkluderar inte händelser som inte har någon källa).	system.access.column_lineage	Ja	365 dagar	Regional
Fakturerbar användning	Innehåller poster för all fakturerbar användning i ditt konto. Varje användningspost är en aggregering per timme av en resurss fakturerbara användning.	system.billing.usage	Ja	365 dagar	Global
Prissättning	En historisk logg över SKU-priser. En post läggs till varje gång ett SKU-pris ändras.	system.billing.list_prices	Nej	Ej tillämpligt	Global
Kluster	En långsamt föränderlig dimensionstabell som innehåller hela historiken för klusterkonfigurationer över tid för alla kluster.	system.compute.clusters	Ja	None	Regional
Nodtyper	Samlar in de tillgängliga nodtyperna med sin grundläggande maskinvaruinformation.	system.compute.node_types	Nej	Ej tillämpligt	Regional
SQL Warehouse-händelser	Samlar in händelser som rör SQL-lager. Till exempel starta, stoppa, köra, skala upp och ned.	system.compute.warehouse_events	Ja	365 dagar	Regional
Marketplace-tratthändelser	Innehåller konsumentvisnings- och trattdata för dina listor.	system.marketplace.listing_ funnel_events	Ja	365 dagar	Regional
Åtkomst till Marketplace-lista	Innehåller konsumentinformation för slutförda begärandedata eller hämta datahändelser i dina listor.	system.marketplace.listing_ access_events	Ja	365 dagar	Regional
Förutsägande optimering	Spårar drifthistoriken för funktionen för förutsägande optimering.	system.storage.predictive_ optimization_operations_history	Nej	180 dagar	Regional

Kommentar

Du kan se andra systemtabeller i ditt konto förutom de som anges ovan. Dessa tabeller är för närvarande i privat förhandsversion och är tomma som standard. Om du är intresserad av att använda någon av dessa tabeller kontaktar du ditt Databricks-kontoteam.

Aktivera systemtabellscheman

Eftersom systemtabeller styrs av Unity Catalog måste du ha minst en Unity Catalog-aktiverad arbetsyta i ditt konto för att aktivera och komma åt systemtabeller. Systemtabeller innehåller data från alla arbetsytor i ditt konto, men de kan bara nås från en Unity Catalog-aktiverad arbetsyta.

Systemtabeller aktiveras på schemanivå. Om du aktiverar ett systemschema aktiverar du alla tabeller i schemat. När nya scheman släpps måste kontoadministratören aktivera schemat manuellt.

Systemtabeller måste aktiveras av en kontoadministratör. Du kan aktivera systemtabeller med hjälp av SystemSchemas-API:et.

Lista tillgängliga systemscheman

Använd följande curl-kommando för att visa tillgängliga systemscheman:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

Följande är ett exempel på utdata från GET kommandot:

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: Systemschemat är tillgängligt men har ännu inte aktiverats.

state: EnableCompleted: Du har aktiverat systemschemat och det visas i Katalogutforskaren.

Aktivera ett systemschema

Använd följande curl-kommando för att aktivera ett systemschema:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Om systemschemat har aktiverats returneras resultatkoden 200 .

Om du försöker återaktivera ett systemschema returneras följande: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

Inaktivera ett systemschema

Använd följande curl-kommando för att inaktivera ett systemschema:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Bevilja åtkomst till systemtabeller

Systemtabellåtkomst styrs av Unity Catalog. Som standard har inga användare åtkomst till systemtabeller. För att bevilja åtkomst måste en metaarkivadministratör eller annan privilegierad användare bevilja USE och SELECT behörigheter för systemschemana. Se Hantera privilegier i Unity Catalog.

Systemtabeller är skrivskyddade och kan inte ändras.

Kommentar

Om ditt konto skapades efter den 9 november 2023 kanske du inte har någon metaarkivadministratör som standard. Mer information finns i Konfigurera och hantera Unity Catalog.

Innehåller systemtabeller data för alla arbetsytor i ditt konto?

Granskningsloggen och ursprungstabellerna innehåller driftdata för alla arbetsytor i ditt konto som distribuerats i samma molnregion. Tabellen faktureringssystem (system.billing.usage) innehåller data för alla arbetsytor i ditt konto, oavsett vilken region de distribueras i.

Även om systemtabeller endast kan nås via en Unity Catalog-arbetsyta innehåller tabellerna även driftdata för arbetsytor som inte är Unity-kataloger i ditt konto.

Var finns systemtabellerna?

Systemtabellerna i ditt konto finns i en katalog med namnet system, som ingår i alla Unity Catalog-metaarkiv. system I katalogen visas scheman som access och billing som innehåller systemtabellerna.

Kommentar

Under systemtabellerna Public Preview behåller Azure Databricks alla systemtabelldata.

Överväganden för systemtabeller för direktuppspelning

Åtkomst till systemtabeller stöds av Delta-delning. Tänk på följande när du strömmar med deltadelning:

• Om du använder direktuppspelning med systemtabeller anger du alternativet skipChangeCommit till true. Detta säkerställer att strömningsjobbet inte avbryts från borttagningar i systemtabellerna. Se Ignorera uppdateringar och borttagningar.
• Trigger.AvailableNow stöds inte med deltadelningsströmning. Den konverteras till Trigger.Once.
• Om du använder en utlösare i strömningsjobbet och upptäcker att jobbet inte kommer ikapp den senaste systemtabellversionen rekommenderar Databricks att du ökar den schemalagda frekvensen för jobbet.

Kända problem

• För närvarande finns inget stöd för realtidsövervakning. Data uppdateras under dagen. Om du inte ser någon logg för en händelse nyligen kan du gå tillbaka senare.

• Om du vill aktivera systemtabeller kan du behöva bevilja nätverksåtkomst till systemtabellerna Blob Storage-slutpunkt. Information om hur du visar en lista över lagringsslutpunkten för alla regioners systemtabeller finns i IP-adresser för lagringsslutpunkt.

• Systemschemana system.operational_data och system.lineage är inaktuella och innehåller tomma tabeller.