Photon nedir?

Şunlar için geçerlidir: Databricks SQL Databricks Runtime 9.1 ve üzeri

İş yüklerinizi Photon'da çalıştırmanın avantajları, desteklediği özellikler ve Foton'un nasıl etkinleştirileceği veya devre dışı bırakileceği hakkında bilgi edinin. Photon, Databricks SQL ambarlarında varsayılan olarak açıktır ve Apache Spark API'leriyle uyumludur, bu nedenle mevcut kodunuzla çalışır.

Photon ne için kullanılır?

Photon, SQL iş yüklerinizi ve DataFrame API çağrılarını daha hızlı çalıştırarak iş yükü başına toplam maliyetinizi azaltan yüksek performanslı bir Azure Databricks yerel vektörleştirilmiş sorgu altyapısıdır.

Aşağıda, Foton kullanmanın temel özellikleri ve avantajları yer alır.

• Delta ve Parquet tablolarıyla SQL ve eşdeğer DataFrame işlemleri desteği.
• Verileri daha hızlı işleyen ve toplamalar ile birleştirmeler içeren hızlandırılmış sorgular.
• Disk önbelleğinden verilere art arda erişildiğinde daha hızlı performans.
• Çok sayıda sütuna ve çok sayıda küçük dosyaya sahip tablolarda güçlü tarama performansı.
• Binlerce sütun içeren geniş tablolar da dahil olmak üzere , , , INSERTve kullanarak UPDATEDaha Hızlı Delta ve CREATE TABLE AS SELECTParquet MERGE INTOyazma. DELETE
• Sıralama birleştirme birleşimlerini karma birleşimlerle değiştirir.

Photon kullanmaya başlama

Photon, Databricks Runtime 9.1 LTS ve üzerini çalıştıran kümelerde varsayılan olarak etkindir.

Kümenizde Photon'u el ile devre dışı bırakmak veya etkinleştirmek için, kümeyi oluştururken veya düzenlerken Foton Hızlandırma kullan onay kutusunu seçin.

Kümeler API'sini kullanarak bir küme oluşturursanız olarak ayarlayın runtime_enginePHOTON.

Örnek türleri

Photon, sürücü ve çalışan düğümlerinde bir dizi örnek türünü destekler. Foton örneği türleri, DBU'ları Photon olmayan çalışma zamanını çalıştıran aynı örnek türünden farklı bir hızda kullanır. Foton örnekleri ve DBU tüketimi hakkında daha fazla bilgi için bkz . Azure Databricks fiyatlandırma sayfası.

İşleçler, ifadeler ve veri türleri

Aşağıda Photon'un kapsadığı işleçler, ifadeler ve veri türleri yer alır.

İşleçler

• Tarama, Filtreleme, Proje
• Karma Toplama/Birleştirme/Karıştırma
• İç İçe Döngü Birleştirme
• Null Algılayan Birleştirmeyi Önleme
• Union, Expand, ScalarSubquery
• Delta/Parquet Yazma Havuzu
• Sırala
• Window İşlevi

İfadeler

• Karşılaştırma / Mantık
• Aritmetik / Matematik (en fazla)
• Koşullu (EĞER, BÜYÜK/KÜÇÜK HARF vb.)
• Dize (yaygın olanlar)
• Çevirir
• Toplamalar (en yaygın olanlar)
• Tarih/Zaman Damgası

Veri türleri

• Bayt/Kısa/Kısa/Uzun
• Boolean
• Dize/İkili
• Ondalık
• Kayan/Çift
• Tarih/Zaman Damgası
• Yapı
• Dizi
• Harita

Foton gerektiren özellikler

Aşağıda Foton gerektiren özellikler yer alır.

• Okuma ve yazma için tahmine dayalı G/Ç. Bkz. Tahmine dayalı G/Ç nedir?.
• H3 jeo-uzamsal ifadeler. Bkz. H3 jeo-uzamsal işlevler.
• Dinamik dosya ayıklama. Bkz. Dinamik dosya ayıklama.

Sınırlamalar

• Yapılandırılmış Akış: Photon şu anda Delta, Parquet, CSV ve JSON ile durum bilgisi olmayan akış desteğine sahip. Durum bilgisi olmayan Kafka ve Kinesis akışı, Delta veya Parquet havuzuna yazılırken desteklenir.
• Foton, UDF'leri veya RDD API'lerini desteklemez.
• Foton normalde iki saniyenin altında çalışan sorguları etkilemez.

Photon tarafından desteklenmeyen özellikler, Databricks Runtime ile aynı şekilde çalışır.