Share via

Tahmine dayalı iyileştirme sistem tablosu başvurusu

  • Makale

Önemli

Bu özellik Genel Önizlemededir.

Not

Bu tabloya erişebilmek için şemayı storage etkinleştirmeniz (bkz . Sistem tablosu şemalarını etkinleştirme) ve bölgenizin tahmine dayalı iyileştirmeyi desteklemesi gerekir (bkz . Azure Databricks bölgeleri).

Bu makalede tahmine dayalı iyileştirme işlemi geçmişi tablo şeması özetlenmiştir ve örnek sorgular sağlanır. Tahmine dayalı iyileştirme, en yüksek performans ve maliyet verimliliği için veri düzeninizi iyileştirir. Sistem tablosu bu özelliğin işlem geçmişini izler. Tahmine dayalı iyileştirme hakkında bilgi için bkz . Delta Lake için tahmine dayalı iyileştirme.

Bu sistem tablosu konumunda system.storage.predictive_optimization_operations_historybulunur.

Teslimatla ilgili dikkat edilmesi gerekenler

  • Verilerin doldurulabilmesi 24 saate kadar sürebilir.
  • Tahmine dayalı iyileştirme aynı kümede birden çok işlem çalıştırabilir. Bu durumda, birden çok işlemin her birine atfedilen DBU'ların payı yaklaşık olarak ayarlanır. bu nedenle olarak usage_unit ayarlanır ESTIMATED_DBU. Yine de kümede harcanan toplam DSU sayısı doğru olacaktır.

Tahmine dayalı iyileştirme tablosu şeması

Tahmine dayalı iyileştirme işlemi geçmişi sistem tablosu aşağıdaki şemayı kullanır:

Sütun adı Veri türü Açıklama Örnek
account_id Dize Hesabın kimliği. 11e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id Dize Tahmine dayalı iyileştirmenin işlemi çalıştırdığı çalışma alanının kimliği. 1234567890123456
start_time timestamp İşlemin başlatıldığı saat. 2023-01-09 10:00:00.000
end_time timestamp İşlemin sona erdiği saat. 2023-01-09 11:00:00.000
metastore_name Dize İyileştirilmiş tablonun ait olduğu meta veri deposunun adı. metastore
catalog_name Dize İyileştirilmiş tablonun ait olduğu kataloğun adı. catalog
schema_name Dize İyileştirilmiş tablonun ait olduğu şemanın adı. schema
table_id Dize İyileştirilmiş tablonun kimliği. 138ebb4b-3757-41bb-9e18-52b38d3d2836
table_name Dize İyileştirilmiş tablonun adı. table1
operation_type Dize Gerçekleştirilen iyileştirme işlemi. Değer veya VACUUMolurCOMPACTION. COMPACTION
operation_id Dize İyileştirme işleminin kimliği. 4dad1136-6a8f-418f-8234-6855cfaff18f
operation_status Dize İyileştirme işleminin durumu. Değer veya FAILED: INTERNAL_ERRORolurSUCCESSFUL. SUCCESSFUL
operation_metrics map[string, string] Gerçekleştirilen belirli iyileştirme hakkında ek ayrıntılar. SıKıŞTıRMA işlemleri için: (number_of_compacted_files, amount_of_data_compacted_bytes, number_of_output_files, amount_of_output_data_bytes) VACUUM işlemleri için: (number_of_deleted_files, amount_of_data_deleted_bytes) {"number_of_output_files":"100","number_of_compacted_files":"1000","amount_of_output_data_bytes":"4000","amount_of_data_compacted_bytes":"10000"}
usage_unit Dize Bu işlemin tahakkuk ettirmiş olduğu kullanım birimi. Yalnızca bir değer olabilir: ESTIMATED_DBU. ESTIMATED_DBU
usage_quantity ondalık Bu işlem tarafından kullanılan kullanım biriminin miktarı. 2.12

Örnek sorgular

Aşağıdaki bölümler, tahmine dayalı iyileştirme sistemi tablosu hakkında içgörü elde etmek için kullanabileceğiniz örnek sorguları içerir. Bu sorguların çalışması için küme ayraçları {{}} içindeki değerleri kendi parametrelerinizle değiştirmeniz gerekir.

Bu makale aşağıdaki örnek sorguları içerir:

Son 30 gün içinde tahmine dayalı iyileştirme kullanılan DSU sayısı kaçtır?

SELECT SUM(usage_quantity)
FROM system.storage.predictive_optimization_operations_history
WHERE
     usage_unit = "ESTIMATED_DBU"
     AND  timestampdiff(day, start_time, Now()) < 30

Tahmine dayalı iyileştirme son 30 günde en çok hangi tablolarda harcandı?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC

En çok işlem gerçekleştiren tahmine dayalı iyileştirme hangi tablolardadır?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     operation_type,
     COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC

Belirli bir katalog için toplam bayt sayısı sıkıştırıldı mı?

SELECT
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
    metastore_name = {{metastore_name}}
    AND catalog_name = {{catalog_name}}
    AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC

Hangi tablolarda en çok bayt vakumlanmış?

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC

Tahmine dayalı iyileştirmeler tarafından çalıştırılan işlemlerin başarı oranı nedir?

WITH operation_counts AS (
     SELECT
           COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
           COUNT(DISTINCT operation_id) as total_operations
    FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts