Rövid útmutató: Adatok átalakítása Apache Spark-feladatdefinícióval

Cikk
07/27/2023

Ebben a rövid útmutatóban a Azure Synapse Analytics használatával fog létrehozni egy folyamatot az Apache Spark-feladatdefiníció használatával.

Előfeltételek

Azure-előfizetés: Ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes Azure-fiókot .
Azure Synapse munkaterület: Synapse-munkaterület létrehozása az Azure Portal használatával a Synapse-munkaterület létrehozása című rövid útmutató utasításait követve.
Apache Spark-feladatdefiníció: Hozzon létre egy Apache Spark-feladatdefiníciót a Synapse-munkaterületen az Oktatóanyag: Apache Spark-feladatdefiníció létrehozása Synapse Studio című oktatóanyag utasításait követve.

Navigáljon a Synapse Studio

A Azure Synapse munkaterület létrehozása után kétféleképpen nyithatja meg a Synapse Studio:

Nyissa meg a Synapse-munkaterületet a Azure Portal. A Megnyitás Synapse Studio kártyán az Első lépések csoportban válassza a Megnyitás lehetőséget.
Nyissa meg Azure Synapse Analyticset, és jelentkezzen be a munkaterületre.

Ebben a rövid útmutatóban a "sampletest" nevű munkaterületet használjuk példaként. Automatikusan a Synapse Studio kezdőlapjára navigál.

Synapse Studio kezdőlapja

Folyamat létrehozása Apache Spark-feladatdefinícióval

A folyamatok a tevékenységek egy csoportjának végrehajtásához szükséges logikai folyamatot tartalmazzák. Ebben a szakaszban egy Apache Spark-feladatdefiníciós tevékenységet tartalmazó folyamatot fog létrehozni.

Lépjen az Integrálás lapra. Válassza a folyamatfejléc melletti plusz ikont, és válassza a Folyamat lehetőséget.
A folyamat Tulajdonságok beállításai lapján adja meg a név bemutatóját.
A Tevékenységek panel Synapse területén húzza a Spark-feladatdefiníciót a folyamatvászonra.

Apache Spark-feladatdefiníciós vászon beállítása

Miután létrehozta az Apache Spark-feladatdefiníciót, a rendszer automatikusan elküldi a Spark-feladatdefiníció vásznára.

Általános beállítások

Válassza ki a spark-feladat definíciós modulját a vásznon.
Az Általános lapon adja meg a név mintáját.
(Beállítás) Leírást is megadhat.
Időtúllépés: A tevékenységek futtatásának maximális időtartama. Az alapértelmezett érték hét nap, ami egyben az engedélyezett maximális időmennyiség is. Formátum: D.HH:MM:SS.
Újrapróbálkozás: Az újrapróbálkozási kísérletek maximális száma.
Újrapróbálkozási időköz: Az egyes újrapróbálkozási kísérletek közötti másodpercek száma.
Biztonságos kimenet: Ha be van jelölve, a tevékenység kimenete nem lesz rögzítve a naplózásban.
Biztonságos bemenet: Ha be van jelölve, a tevékenységből származó bemenet nem lesz rögzítve a naplózásban.

Beállítások lap

Ezen a panelen hivatkozhat a futtatandó Spark-feladatdefinícióra.

Bontsa ki a Spark-feladatdefiníciók listáját, és válasszon ki egy meglévő Apache Spark-feladatdefiníciót. Új Apache Spark-feladatdefiníciót is létrehozhat, ha az Új gombra kattint, és hivatkozik a futtatni kívánt Spark-feladatdefinícióra.

(Nem kötelező) Az Apache Spark-feladatdefinícióval kapcsolatos információkat is kitöltheti. Ha a következő beállítások üresek, a spark-feladat definíciójának beállításai lesznek használva a futtatáshoz; Ha a következő beállítások nem üresek, ezek a beállítások maguk a Spark-feladatdefiníció beállításait cserélik le.

Tulajdonság	Leírás
Fő definíciós fájl	A feladathoz használt fő fájl. Válasszon ki egy PY/JAR/ZIP fájlt a tárolóból. A Fájl feltöltése lehetőséget választva feltöltheti a fájlt egy tárfiókba. Minta: `abfss://…/path/to/wordcount.jar`
Almappákból származó hivatkozások	A fő definíciós fájl gyökérmappájából beolvasva ezek a fájlok referenciafájlokként lesznek hozzáadva. A "jars", "pyFiles", "files" vagy "archives" nevű mappák be lesznek vizsgálva, és a mappák neve megkülönbözteti a kis- és nagybetűket.
Főosztály neve	A teljes azonosító vagy a fő definíciós fájlban található főosztály. Minta: `WordCount`
Parancssori argumentumok	Parancssori argumentumokat az Új gombra kattintva adhat hozzá. Meg kell jegyezni, hogy a parancssori argumentumok hozzáadása felülbírálja a Spark-feladatdefiníció által definiált parancssori argumentumokat. Minta: `abfss://…/path/to/shakespeare.txtabfss://…/path/to/result`
Apache Spark-készlet	A listából kiválaszthatja az Apache Spark-készletet.
Python-kódhivatkozás	További Python-kódfájlok, amelyeket referenciaként használnak a fő definíciós fájlban. Támogatja a fájlok (.py, .py3, .zip) "pyFiles" tulajdonságba való továbbítását. Felülbírálja a Spark-feladatdefinícióban definiált "pyFiles" tulajdonságot.
Referenciafájlok	További fájlok a fő definíciós fájlban való hivatkozáshoz.
Végrehajtók dinamikus lefoglalása	Ez a beállítás a Spark-konfiguráció Spark-alkalmazás-végrehajtók foglalásának dinamikus foglalási tulajdonságára képez le leképezést.
Minimális végrehajtók	A feladathoz a megadott Spark-készletben lefoglalandó végrehajtók minimális száma.
Végrehajtók maximális mérete	A feladathoz megadott Spark-készletben lefoglalandó végrehajtók maximális száma.
Illesztőprogram mérete	A feladathoz megadott Apache Spark-készletben megadott illesztőprogramhoz használandó magok és memória száma.
Spark-konfiguráció	Adja meg a Spark konfigurációs tulajdonságainak értékeit a következő témakörben: Spark-konfiguráció – Alkalmazástulajdonságok. A felhasználók használhatják az alapértelmezett konfigurációt és a testre szabott konfigurációt.

spark-feladat definíciójának pipline-beállításai

Dinamikus tartalmak hozzáadásához kattintson a Dinamikus tartalom hozzáadása gombra, vagy nyomja le az Alt+Shift+D billentyűparancsot. A Dinamikus tartalom hozzáadása lapon a kifejezések, függvények és rendszerváltozók bármilyen kombinációját használhatja a dinamikus tartalomhoz való hozzáadáshoz.