Mi az a Photon?

A következőkre vonatkozik: Databricks SQL Databricks Runtime 9.1 és újabb Databricks Runtime 15.2 ML vagy újabb

Ismerje meg a számítási feladatok Photonen való futtatásának előnyeit, az általa támogatott funkciókat, valamint a Photon engedélyezésének vagy letiltásának módját. A Photon alapértelmezés szerint be van kapcsolva a Databricks SQL-tárolókban, és kompatibilis az Apache Spark API-kkal, így a meglévő kóddal működik.

Mire használható a Photon?

A Photon egy nagy teljesítményű Azure Databricks-natív vektoros lekérdezési motor, amely gyorsabban futtatja az SQL-számítási feladatokat és a DataFrame API-hívásokat, hogy csökkentse a számítási feladatonkénti teljes költséget.

Az alábbiakban a Photon használatának főbb jellemzői és előnyei szerepelnek.

• Sql- és egyenértékű DataFrame-műveletek támogatása Delta- és Parquet-táblákkal.
• Gyorsított lekérdezések, amelyek gyorsabban dolgozzák fel az adatokat, és aggregációkat és illesztéseket tartalmaznak.
• Gyorsabb teljesítmény, ha az adatok ismételten a lemezgyorsítótárból érhetők el.
• Robusztus vizsgálati teljesítmény sok oszlopot és sok kis fájlt tartalmazó táblákon.
• Gyorsabb delta- és CREATE TABLE AS SELECTparquet-írás több MERGE INTOINSERTDELETEezer oszlopot tartalmazó széles táblák használatávalUPDATE.
• A rendezési egyesítési illesztéseket kivonatos illesztésekre cseréli.
• Az AI- és ML-számítási feladatok esetében a Photon javítja a Spark SQL, a Spark DataFrames, a funkciófejlesztés, a GraphFrames és az xgboost4j használatát használó alkalmazások teljesítményét.

A Photon használatának első lépései

A Photon alapértelmezés szerint engedélyezve van a Databricks Runtime 9.1 LTS-t és újabb verziót futtató fürtökön. A Photon a Databricks Runtime 15.2 for Machine Tanulás vagy újabb verzióját futtató fürtökön is elérhető.

Ha manuálisan szeretné letiltani vagy engedélyezni a Photont a fürtön, jelölje be a Foton gyorsítás használata jelölőnégyzetet a fürt létrehozásakor vagy szerkesztésekor.

Ha fürtöt hoz létre a Clusters API használatával, állítsa a következőre runtime_enginePHOTON: .

Példánytípusok

A Photon számos példánytípust támogat az illesztőprogram és a feldolgozó csomópontokon. A fotonpéldány-típusok a nem Photon-futtató példánytípustól eltérő sebességgel használnak adatbázisokat. A Photon-példányokkal és a DBU-használattal kapcsolatos további információkért tekintse meg az Azure Databricks díjszabási oldalát.

Operátorok, kifejezések és adattípusok

A Photon által lefedett operátorok, kifejezések és adattípusok a következők.

Operátorok

• Vizsgálat, szűrés, projekt
• Kivonat összesítése/illesztés/shuffle
• Beágyazott hurok csatlakoztatása
• Null-tudatos illesztésgátló
• Union, Expand, ScalarSubquery
• Delta/Parquet Write Sink
• Sort
• Ablakfüggvény

Kifejezések

• Összehasonlítás / logika
• Számtani / Matematikai (legtöbb)
• Feltételes (HA, CA Standard kiadás stb.)
• Sztring (gyakoriak)
• Vet
• Összesítések (leggyakoribbak)
• Dátum/időbélyeg

Adattípusok

• Bájt/Rövid/Int/Hosszú
• Logikai
• Sztring/bináris
• Decimális
• Lebegőpontos/dupla
• Dátum/időbélyeg
• Struktúra
• Tömb
• Térkép

A Photon-t igénylő funkciók

Az alábbiakban a Photont igénylő funkciók szerepelnek.

• Prediktív I/O olvasáshoz és íráshoz. Lásd : Mi a prediktív I/O?.
• H3 térinformatikai kifejezések. Lásd: H3 térinformatikai függvények.
• Dinamikus fájlmetszet. Lásd: Dinamikus fájlmetszet.

Korlátozások

• Strukturált streamelés: A Photon jelenleg támogatja az állapot nélküli streamelést a Delta, a Parquet, a CSV és a JSON használatával. Az állapot nélküli Kafka és a Kinesis streamelés támogatott, ha Delta- vagy Parquet-fogadóba ír.
• A Photon nem támogatja az UDF-eket és az RDD API-kat.
• A Photon nem befolyásolja azokat a lekérdezéseket, amelyek általában két másodperc alatt futnak.

A Photon által nem támogatott funkciók ugyanúgy futnak, mintha a Databricks Runtime-mal futnának.