Giriş

Delta Lake, veri göllerinin üzerinde bir Lakehouse mimarisinin derlenemsini sağlayan açık kaynak bir projedir. Delta Lake ACID işlemleri, ölçeklenebilir meta veri işleme ve mevcut veri göllerinin üzerinde akış ile toplu veri işlemeyi bir getirir.

Delta Lake özellikle şunları sunar:

  • Spark'ta ACID işlemleri: Seri hale getirilebilir yalıtım düzeyleri, okuyucuların hiçbir zaman tutarsız veriler görmelerini sağlar.
  • Ölçeklenebilir meta veri işleme: Milyarlarca dosyayla petabayt ölçeğinde tabloların tüm meta verilerini kolaylıkla işlemek için Spark dağıtılmış işleme gücü kullanılır.
  • Akış ve toplu iş birleştirme: Delta Lake'te bir tablo, akış kaynağı ve havuzun yanı sıra toplu iş tablosudur. Akış verisi, toplu iş tarihi doldurma ve etkileşimli sorguların hepsi hemen çalışır.
  • Şema zorlama: Veri alımı sırasında hatalı kayıtların yerleştirilmesini önlemek için şema çeşitlemelerini otomatik olarak işleme.
  • Zaman yolculuğu: Veri sürümü, geri alma, tam geçmiş denetim izleri ve yeniden üretebilir makine öğrenmesi denemeleri sağlar.
  • Upserts ve deletes: Değişiklik-veri yakalama, yavaş değişen boyut (SCD) işlemleri, akış upsert'leri gibi karmaşık kullanım durumlarını etkinleştirmek için birleştirme, güncelleştirme ve silme işlemlerini destekler.

Delta Altyapısı iyileştirmeleri, Delta Lake işlemlerini yüksek performansa sahip hale getirir ve büyük ölçekli ETL işlemeden geçici, etkileşimli sorgulara kadar çeşitli iş yüklerini destekler. Delta Altyapısı hakkında bilgi için bkz. Delta Altyapısı.

Hızlı Başlangıç

Delta Lake hızlı başlangıç, Delta Lake ile çalışmaya ilişkin temel bilgileri genel bir bakış sağlar. Hızlı başlangıçta JSON verilerini delta tablosuna okuma, tabloyu değiştirme, tabloyu okuma, tablo geçmişini görüntüleme ve tabloyu iyileştirme gibi işlem hattı oluşturma gösterilir.

Bu Azure Databricks gösteren not defterleri için bkz. Giriş not defterleri.

Delta Lake'i denemek için bkz. Azure Databricks.

Kaynaklar