Foton

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

A Photon a Azure Databricks natív vektoros lekérdezési motorja, amely közvetlenül kompatibilis az Apache Spark API-okkal, így az együttműködik a meglévő kóddal. C++ nyelvben fejlesztették ki, hogy kihasználja a modern hardvereket, és a vektoros lekérdezésfeldolgozás legújabb módszereit használja a processzorok adat- és utasításszintű párhuzamosságának kihasználása érdekében, ami javítja a valós adatok és alkalmazások teljesítményét – mindezt natív módon az adattóban. A Photon egy olyan nagy teljesítményű futtatás része, amely gyorsabban futtatja a meglévő SQL DataFrame API-hívásokat, és csökkenti a számítási feladatokhoz szükséges teljes költséget.

A foton aktiválása attól függ, hogy Azure Databricks vagy Databricks-SQL használ.

Azure Databricks fürtök

A Photon Azure Databricks-fürtökön való eléréséhez explicit módon ki kell választania a Photon-t tartalmazó futásidőt a fürt létrehozásakor a felhasználói felület vagy azAPI-k (Clusters API 2.0 és Jobs API 2.1) használatával, a szintaxis megadásával. A Photon a 8.3-as és Databricks Runtime 8.3-as vagy Databricks Runtime-es vagy azt futtató fürtökhöz érhető el.

A Photon a példánytípusok korlátozott készletét támogatja az illesztő- és munkavégző csomópontokon. A Photon-példánytípusok a nem Photon futtatókörnyezetet futtató példánytípustól eltérő sebességgel használnak adatbázis-adatbázisokat. A Photon-példányokkal és a DBU-használatgal kapcsolatos további információkért lásd a Azure Databricks oldalon.

Databricks SQL végpontok

A Photon alapértelmezés szerint engedélyezve van a Databricksben SQL végpontok számára. Ha ellenőrizni tudja, hogy a Photon engedélyezve van-e egy SQL-végponton, kattintson az oldalsáv Végpontokikonjára SQL Végpontok elemre, válassza ki a végpontot, és ellenőrizze, hogy a Photon értéke Be van-e kapcsolva.

Előnyök

Az alábbiakban összefoglaljuk a Photon előnyeit:

  • Támogatja SQL és egyenértékű DataFrame-műveleteket Delta- és Parquet-táblákon.
  • Várhatóan felgyorsítja a jelentős mennyiségű adatot (100 GB+) feldolgozást, valamint összesítéseket és illesztéseket is magában foglaló lekérdezéseket.
  • Gyorsabb teljesítmény, ha a Delta-gyorsítótárból ismételten hozzáférnek az adatokhoz.
  • Robusztusabb vizsgálati teljesítmény a sok oszlopot és sok kis fájlt tartalmazó táblákon.
  • Gyorsabb Delta- és Parquet-írás , , , , és használatával, különösen széles táblák UPDATEDELETE esetén (több száztól több ezer MERGE INTOINSERTCREATE TABLE AS SELECT oszlopig).
  • Lecseréli a sort-merge illesztéseket a kivonat-illesztésekkel.

Korlátozások

  • Delta- és Parquet-táblákon csak olvasási és írási is működik.
  • Nem támogatja az ablak- és rendezési operátorokat
  • Nem támogatja a Spark strukturált streamelést.
  • Nem támogatja azudfs-eket.
  • Nem várható a rövid ideig futó lekérdezések javítása (2 másodperc), például kis mennyiségű < adat lekérdezése.

A Photon által nem támogatott funkciók ugyanúgy futnak, mint a Databricks Runtime; nincs teljesítménybeli előny ezekhez a funkciókhoz.