Adatok átalakítása Synapse Spark-feladatdefiníció futtatásával

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Tipp

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás vállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésekig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyen!

A folyamat Azure Synapse Spark-feladatdefiníciós tevékenység synapse Spark-feladatdefiníciót futtat a Azure Synapse Analytics-munkaterületen. Ez a cikk az adatátalakítási tevékenységekről szóló cikkre épül, amely általános áttekintést nyújt az adatátalakításról és a támogatott átalakítási tevékenységekről.

Apache Spark-feladatdefiníciós vászon beállítása

Ha Spark-feladatdefiníciós tevékenységet szeretne használni a Synapse-hez egy folyamatban, hajtsa végre az alábbi lépéseket:

Általános beállítások

1. Keresse meg a Spark-feladatdefiníciót a folyamattevékenységek panelen, és húzzon egy Spark-feladatdefiníciós tevékenységet a Synapse alatt a folyamatvászonra.

2. Jelölje ki az új Spark-feladatdefiníciós tevékenységet a vásznon, ha még nincs kijelölve.

3. Az Általános lapon adja meg a név mintáját.

4. (Beállítás) Leírást is megadhat.

5. Időtúllépés: A tevékenységek futtatásának maximális időtartama. Az alapértelmezett érték hét nap, ami egyben az engedélyezett maximális időmennyiség is. Formátum: D.HH:MM:SS.

6. Újrapróbálkozás: Az újrapróbálkozási kísérletek maximális száma.

7. Újrapróbálkozási időköz: Az egyes újrapróbálkozási kísérletek közötti másodpercek száma.

8. Biztonságos kimenet: Ha be van jelölve, a tevékenység kimenete nem lesz rögzítve a naplózásban.

9. Biztonságos bemenet: Ha be van jelölve, a tevékenységből származó bemenet nem lesz rögzítve a naplózásban.

Azure Synapse Analytics -beállítások

1. Jelölje ki az új Spark-feladatdefiníciós tevékenységet a vásznon, ha még nincs kijelölve.

2. Az Azure Synapse Analytics (Összetevők) lapon válassza ki vagy hozzon létre egy új Azure Synapse Analytics társított szolgáltatást, amely végrehajtja a Spark-feladatdefiníciós tevékenységet.

   

Beállítások lap

1. Jelölje ki az új Spark-feladatdefiníciós tevékenységet a vásznon, ha még nincs kijelölve.

2. Válassza a Settings (Beállítások) fület.

3. Bontsa ki a Spark-feladatdefiníciók listáját, és válasszon ki egy meglévő Apache Spark-feladatdefiníciót a csatolt Azure Synapse Analytics-munkaterületen.

4. (Nem kötelező) Az Apache Spark-feladatdefinícióval kapcsolatos információkat is kitöltheti. Ha a következő beállítások üresek, a spark-feladat definíciójának beállításai lesznek használva a futtatáshoz; Ha a következő beállítások nem üresek, ezek a beállítások maguk a Spark-feladatdefiníció beállításait cserélik le.

   Tulajdonság	Leírás
   Fő definíciós fájl	A feladathoz használt fő fájl. Válasszon ki egy PY/JAR/ZIP fájlt a tárolóból. A Fájl feltöltése lehetőséget választva feltöltheti a fájlt egy tárfiókba. Minta: abfss://…/path/to/wordcount.jar
   Almappákból származó hivatkozások	A fő definíciós fájl gyökérmappájából beolvasva ezek a fájlok referenciafájlokként lesznek hozzáadva. A "jars", "pyFiles", "files" vagy "archives" nevű mappák be lesznek vizsgálva, és a mappák neve megkülönbözteti a kis- és nagybetűket.
   Főosztály neve	A teljes azonosító vagy a fő definíciós fájlban található főosztály. Minta: WordCount
   Parancssori argumentumok	Parancssori argumentumokat az Új gombra kattintva adhat hozzá. Meg kell jegyezni, hogy a parancssori argumentumok hozzáadása felülbírálja a Spark-feladatdefiníció által definiált parancssori argumentumokat. Minta: abfss://…/path/to/shakespeare.txtabfss://…/path/to/result
   Apache Spark-készlet	A listából kiválaszthatja az Apache Spark-készletet.
   Python-kódhivatkozás	További python-kódfájlok, amelyeket referenciaként használnak a fő definíciós fájlban. Támogatja a fájlok (.py, .py3, .zip) "pyFiles" tulajdonságba való továbbítását. Felülbírálja a Spark-feladatdefinícióban definiált "pyFiles" tulajdonságot.
   Referenciafájlok	További fájlok a fő definíciós fájlban való hivatkozáshoz.
   Apache Spark-készlet	A listából kiválaszthatja az Apache Spark-készletet.
   Végrehajtók dinamikus lefoglalása	Ez a beállítás a Spark-konfiguráció Spark-alkalmazás-végrehajtók foglalásának dinamikus foglalási tulajdonságára képez le leképezést.
   Minimális végrehajtók	A feladathoz a megadott Spark-készletben lefoglalandó végrehajtók minimális száma.
   Végrehajtók maximális mérete	A feladathoz megadott Spark-készletben lefoglalandó végrehajtók maximális száma.
   Illesztőprogram mérete	A feladathoz megadott Apache Spark-készletben megadott illesztőprogramhoz használandó magok és memória száma.
   Spark-konfiguráció	Adja meg a Spark konfigurációs tulajdonságainak értékeit a következő témakörben: Spark-konfiguráció – Alkalmazástulajdonságok. A felhasználók használhatják az alapértelmezett konfigurációt és a testre szabott konfigurációt.

   

5. Dinamikus tartalmak hozzáadásához kattintson a Dinamikus tartalom hozzáadása gombra, vagy nyomja le az Alt+Shift+D billentyűparancsot. A Dinamikus tartalom hozzáadása lapon a kifejezések, függvények és rendszerváltozók bármilyen kombinációját használhatja a dinamikus tartalomhoz való hozzáadáshoz.

   

Felhasználói tulajdonságok lap

Ebben a panelen tulajdonságokat adhat hozzá az Apache Spark-feladatdefiníciós tevékenységhez.

Spark-feladatdefiníciós tevékenységdefiníció Azure Synapse

Íme egy Azure Synapse Analytics Notebook-tevékenység JSON-mintadefiníciója:

 {
        "activities": [
            {
                "name": "Spark job definition1",
                "type": "SparkJob",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "typeProperties": {
                    "sparkJob": {
                        "referenceName": {
                            "value": "Spark job definition 1",
                            "type": "Expression"
                        },
                        "type": "SparkJobDefinitionReference"
                    }
                },
                "linkedServiceName": {
                    "referenceName": "AzureSynapseArtifacts1",
                    "type": "LinkedServiceReference"
                }
            }
        ],
    }

Azure Synapse Spark-feladatdefiníció tulajdonságai

Az alábbi táblázat a JSON-definícióban használt JSON-tulajdonságokat ismerteti:

Tulajdonság	Leírás	Kötelező
name	A folyamatban lévő tevékenység neve.	Igen
leírás	A tevékenység tevékenységeit leíró szöveg.	Nem
típus	Azure Synapse Spark-feladatdefiníciós tevékenység esetében a tevékenység típusa SparkJob.	Igen

Lásd Azure Synapse Spark-feladatdefiníciós tevékenységfuttatási előzményeit

Lépjen a Folyamatfuttatások elemre a Monitorozás lapon, és láthatja az aktivált folyamatot. Nyissa meg a Azure Synapse Spark-feladatdefiníciós tevékenységet tartalmazó folyamatot a futtatási előzmények megtekintéséhez.

A jegyzetfüzet-tevékenység bemenetét vagy kimenetét a bemenet vagy a Kimenet gombra kattintva tekintheti meg. Ha a folyamat felhasználói hibával meghiúsult, válassza ki a kimenetet az eredménymező ellenőrzéséhez a felhasználói hiba részletes visszakövetkeztetése megtekintéséhez.