Share via

Lakehouse ve Delta Lake tabloları

  • Makale

Microsoft Fabric Lakehouse , yapılandırılmış ve yapılandırılmamış verileri tek bir konumda depolamak, yönetmek ve analiz etmek için kullanılan bir veri mimarisi platformudur. Microsoft Fabric'teki tüm işlem altyapılarında sorunsuz veri erişimi elde etmek için Delta Lake, birleşik tablo biçimi olarak seçilir.

Verileri Tablolara Yükle gibi özellikleri veya Fabric Lakehouse'a veri alma seçenekleri bölümünde açıklanan yöntemleri kullanarak Lakehouse'a veri kaydetme, tüm veriler Delta biçiminde kaydedilir.

Delta Lake tablo biçimine daha kapsamlı bir giriş için Sonraki adımlar bölümündeki bağlantıları izleyin.

Büyük veri, Apache Spark ve eski tablo biçimleri

Apache Spark için Microsoft Fabric Çalışma Zamanı, Apache Spark için Azure Synapse Analytics Runtime ile aynı temeli kullanır, ancak Microsoft Fabric hizmetindeki tüm altyapılarda daha kolay bir davranış sağlamak için önemli farklılıklar içerir. Microsoft Fabric'te temel performans özellikleri varsayılan olarak açıktır. Gelişmiş Apache Spark kullanıcıları, belirli senaryolarla daha iyi uyum sağlamak için yapılandırmaları önceki değerlere döndürebilir.

Microsoft Fabric Lakehouse ve Apache Spark altyapısı hem yönetilen hem de yönetilmeyen tüm tablo türlerini destekler; Bu görünümler ve Delta Hive olmayan normal tablo biçimlerini içerir. PARQUET, CSV, AVRO, JSON ve Apache Hive uyumlu herhangi bir dosya biçimi kullanılarak tanımlanan tablolar beklendiği gibi çalışır.

Lakehouse gezgini kullanıcı arabirimi deneyimi tablo türüne bağlı olarak değişir. Şu anda Lakehouse gezgini yalnızca tablo nesnelerini işler.

Azure Synapse Analytics ile yapılandırma farklılıkları

Aşağıdaki tabloda Azure Synapse Analytics ile Apache Spark için Microsoft Fabric Çalışma Zamanı arasındaki yapılandırma farklılıkları yer alır.

Apache Spark yapılandırması Microsoft Fabric değeri Azure Synapse Analytics değeri Notlar
spark.sql.sources.default delta Parke Varsayılan tablo biçimi
spark.sql.parquet.vorder.enabled true Yok V-Order yazıcısı
spark.sql.parquet.vorder.dictionaryPageSize 2 GB Yok V-Order için sözlük sayfa boyutu sınırı
spark.microsoft.delta.optimizeWrite.enabled true unset (false) Yazmayı en iyi duruma getirme

Tabloları otomatik bulma

Lakehouse gezgini, Microsoft Fabric Lakehouse öğesindeki nesnelerin ağaç benzeri bir görünümünü sağlar. Meta veri deposunda ve OneLake depolama alanında açıklanan tabloları bulma ve görüntüleme konusunda önemli bir özelliği vardır. Tablo başvuruları, Lakehouse gezgini kullanıcı arabiriminin bölümü altında Tables görüntülenir. Otomatik bulma, OneLake kısayolları üzerinde tanımlanan tablolar için de geçerlidir.

Kısayollar üzerinde tablolar

Microsoft Fabric Lakehouse, en yüksek uyumluluğu sağlamak ve veri taşımamak için OneLake kısayolları üzerinden tanımlanan tabloları destekler. Aşağıdaki tabloda, kısayollar üzerinden kullanılırken her öğe türü için en iyi senaryo yöntemleri yer alır.

Kısayol hedefi Kısayol nerede oluşturulur? En iyi uygulama
Delta Lake tablosu Tables Bölüm Hedefte birden çok tablo varsa, tablo başına bir kısayol oluşturun.
Dosya içeren klasörler Files Bölüm Hedefi doğrudan göreli yolları kullanarak kullanmak için Apache Spark kullanın. Maksimum performans için verileri Lakehouse yerel Delta tablolarına yükleyin.
Eski Apache Hive tabloları Files Bölüm Hedefi doğrudan göreli yolları kullanarak kullanmak için Apache Spark kullanın veya söz dizimini kullanarak CREATE EXTERNAL TABLE bir meta veri kataloğu başvurusu oluşturun. Maksimum performans için verileri Lakehouse yerel Delta tablolarına yükleyin.

Tablolara Yükle

Microsoft Fabric Lakehouse, Delta tablolarına veri yüklemeyi kolaylaştırmak için kullanışlı ve üretken bir kullanıcı arabirimi sağlar. Tablolara Yükle özelliği, görsel deneyimlerin tüm kişiliklere analitik üretkenliği artırmak için ortak dosya biçimlerini Delta'ya yüklemesine olanak tanır. Tablolara Yükle özelliği hakkında ayrıntılı bilgi edinmek için Lakehouse Load to Tables başvuru belgelerini okuyun.

Delta Lake tablo iyileştirmesi

Geniş kapsamlı analiz senaryoları için tabloların formda tutulması küçük bir başarı değildir. Microsoft Fabric Lakehouse, sıkıştırma ve küçük dosya boyutları gibi büyük veri tablolarıyla ilişkili yaygın sorunları en aza indirmek ve sorgu performansını en üst düzeye çıkarmak için önemli parametreleri etkin bir şekilde etkinleştirir. Yine de, bu parametrelerin değişikliğe ihtiyaç duyduğu birçok senaryo vardır. Delta Lake tablo iyileştirmesi ve V-Order makalesi bazı önemli senaryoları kapsar ve delta tablolarını en yüksek performans için verimli bir şekilde koruma hakkında ayrıntılı bir kılavuz sağlar.

İlgili içerik