Adatok átalakítása Synapse-jegyzetfüzet futtatásával
A KÖVETKEZŐKRE VONATKOZIK:
Azure Data Factory Azure Synapse Analytics
Tipp
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésekig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyen!
A folyamat Azure Synapse notebooktevékenysége egy Synapse-jegyzetfüzetet futtat a Azure Synapse Analytics-munkaterületen. Ez a cikk az adatátalakítási tevékenységekről szóló cikkre épül, amely általános áttekintést nyújt az adatátalakításról és a támogatott átalakítási tevékenységekről.
Az Azure Synapse Analytics-jegyzetfüzettevékenységeket közvetlenül a Azure Data Factory Studio felhasználói felületén hozhatja létre. A Synapse-jegyzetfüzetek felhasználói felülettel történő létrehozásának részletes útmutatójáért tekintse meg az alábbiakat.
Jegyzetfüzet-tevékenység hozzáadása a Synapse-hez felhasználói felülettel rendelkező folyamathoz
Ha notebooktevékenységet szeretne használni a Synapse-hez egy folyamatban, hajtsa végre az alábbi lépéseket:
Általános beállítások
- Keressen a Jegyzetfüzet kifejezésre a folyamat Tevékenységek paneljén, és húzzon egy Jegyzetfüzet-tevékenységet a Synapse alatt a folyamatvászonra.
- Jelölje ki az új jegyzetfüzet-tevékenységet a vásznon, ha még nincs kijelölve.
- Az Általános beállítások területen adja meg a name (Név) mintát.
- (Beállítás) Leírást is megadhat.
- Időtúllépés: Egy tevékenység futtatásának maximális időtartama. Az alapértelmezett érték 12 óra, az engedélyezett maximális idő pedig 7 nap. Formátum: D.HH:MM:SS.
- Újrapróbálkozás: Az újrapróbálkozási kísérletek maximális száma.
- Újrapróbálkozási időköz (mp): Az egyes újrapróbálkozási kísérletek közötti másodpercek száma.
- Biztonságos kimenet: Ha be van jelölve, a tevékenység kimenete nem lesz rögzítve a naplózásban.
- Biztonságos bemenet: Az egyes újrapróbálkozási kísérletek közötti másodpercek száma
Azure Synapse Analytics (Összetevők) beállításai
Az Azure Synapse Analytics (Artifacts) lapon válasszon ki vagy hozzon létre egy új Azure Synapse Analytics társított szolgáltatást, amely végrehajtja a notebooktevékenységet.
Beállítások lap
Válassza ki az új Synapse Notebook-tevékenységet a vásznon, ha még nincs kijelölve.
Válassza a Settings (Beállítások) fület.
Bontsa ki a Jegyzetfüzet listát, és válasszon ki egy meglévő jegyzetfüzetet a csatolt Azure Synapse Analyticsben (Artifacts).
Kattintson a Megnyitás gombra annak a társított szolgáltatásnak a lapjának megnyitásához, ahol a kijelölt jegyzetfüzet található.
Megjegyzés
Ha a társított szolgáltatás munkaterület-erőforrás-azonosítója üres, a Megnyitás gomb le lesz tiltva.
Válassza a Beállítások lapot, és válassza ki a jegyzetfüzetet, valamint az opcionális alapparamétereket, hogy átadják a jegyzetfüzetnek.
(Nem kötelező) A Synapse-jegyzetfüzet adatait is kitöltheti. Ha a következő beállítások üresek, a Rendszer magát a Synapse-jegyzetfüzetet fogja használni a futtatáshoz; Ha az alábbi beállítások nem üresek, ezek a beállítások maguk a Synapse-jegyzetfüzet beállításai helyébe lépnek.
Tulajdonság Leírás Spark-készlet Hivatkozás a Spark-készletre. A listából kiválaszthatja az Apache Spark-készletet. Végrehajtó mérete A munkamenethez megadott Apache Spark-készletben lefoglalt végrehajtókhoz használandó magok és memória száma. Dinamikus tartalom esetén az érvényes értékek: Small/Medium/Large/XLarge/XXLarge. Végrehajtók dinamikus lefoglalása Ez a beállítás a Spark-alkalmazás végrehajtóinak lefoglalásához tartozó Spark-konfiguráció dinamikus kiosztási tulajdonságára van leképeződve. Minimális végrehajtók A feladathoz megadott Spark-készletben lefoglalandó végrehajtók minimális száma. Végrehajtók maximális mérete A feladathoz megadott Spark-készletben lefoglalandó végrehajtók maximális száma. Illesztőprogram mérete A feladathoz megadott Apache Spark-készletben megadott illesztőprogramhoz használandó magok és memória száma.
Azure Synapse Analytics-jegyzetfüzet tevékenységdefiníciója
Íme egy Azure Synapse Analytics-jegyzetfüzettevékenység JSON-mintadefiníciója:
{
"activities": [
{
"name": "demo",
"description": "description",
"type": "SynapseNotebook",
"dependsOn": [],
"policy": {
"timeout": "7.00:00:00",
"retry": 0,
"retryIntervalInSeconds": 30,
"secureOutput": false,
"secureInput": false
},
"userProperties": [
{
"name": "testproperties",
"value": "test123"
}
],
"typeProperties": {
"notebook": {
"referenceName": {
"value": "Notebookname",
"type": "Expression"
},
"type": "NotebookReference"
},
"parameters": {
"test": {
"value": "testvalue",
"type": "string"
}
},
"snapshot": true,
"sparkPool": {
"referenceName": {
"value": "SampleSpark",
"type": "Expression"
},
"type": "BigDataPoolReference"
}
},
"linkedServiceName": {
"referenceName": "AzureSynapseArtifacts1",
"type": "LinkedServiceReference"
}
}
]
}
Azure Synapse Analytics-jegyzetfüzet tevékenységtulajdonságai
Az alábbi táblázat a JSON-definícióban használt JSON-tulajdonságokat ismerteti:
| Tulajdonság | Leírás | Kötelező |
|---|---|---|
| name | A folyamatban lévő tevékenység neve. | Igen |
| leírás | A tevékenység tevékenységeit leíró szöveg. | Nem |
| típus | Az Azure Synapse Analytics-jegyzetfüzettevékenység esetében a tevékenység típusa SynapseNotebook. | Igen |
| jegyzetfüzet | A Azure Synapse Analyticsben futtatandó jegyzetfüzet neve. | Igen |
| sparkPool | Az Azure Synapse Analytics-jegyzetfüzet futtatásához szükséges Spark-készlet. | Nem |
| parameter | A Azure Synapse Analytics-jegyzetfüzet futtatásához szükséges paraméter. További információ: Adatok átalakítása Synapse-jegyzetfüzet futtatásával | Nem |
Paramétercella kijelölése
Azure Data Factory megkeresi a paraméterek celláját, és a végrehajtási időpontban átadott paraméterek alapértelmezett értékeit használja. A végrehajtási motor egy új cellát ad hozzá a paramétercella alá bemeneti paraméterekkel az alapértelmezett értékek felülírásához. Az Adatok átalakítása Synapse-jegyzetfüzet futtatásával című témakörben olvashat.
A Synapse-jegyzetfüzet kimeneti értékének olvasása
A jegyzetfüzet cellakimeneti értékét a tevékenységben olvashatja, ehhez a panelhez az Adatok átalakítása Synapse-jegyzetfüzet futtatásával című témakörben olvashat.
Másik Synapse-jegyzetfüzet futtatása
A Synapse-jegyzetfüzetek tevékenységeiben más jegyzetfüzetekre is hivatkozhat a %run magic vagy az mssparkutils notebook segédprogram meghívásával. Mindkettő támogatja a beágyazott függvényhívásokat. A forgatókönyv alapján megfontolandó két módszer fő különbségei a következők:
- %run magic a hivatkozott jegyzetfüzet összes celláját átmásolja a %run cellába, és megosztja a változókörnyezetet. Ha a notebook1 a notebook2-ra hivatkozik a-on keresztül
%run notebook2, és a notebook2 meghív egy mssparkutils.notebook.exit függvényt, a jegyzetfüzet1 celláinak végrehajtása leáll. Azt javasoljuk, hogy a %run magic parancsot használja, ha jegyzetfüzetfájlt szeretne "belefoglalni". - Az mssparkutils notebook segédprogramja metódusként vagy függvényként hívja meg a hivatkozott jegyzetfüzetet. A változókörnyezet nincs megosztva. Ha a notebook1 a notebook2-ra hivatkozik a-on keresztül
mssparkutils.notebook.run("notebook2"), és a notebook2 meghív egy mssparkutils.notebook.exit függvényt, a notebook1 celláinak végrehajtása folytatódik. Azt javasoljuk, hogy akkor használja az mssparkutils notebook segédprogramokat, ha "importálni" szeretne egy jegyzetfüzetet.
Lásd: Azure Synapse Analytics-jegyzetfüzet tevékenységfuttatási előzményei
Lépjen a Monitorozás lap Folyamatfuttatások elemére, és láthatja az aktivált folyamatot. Nyissa meg a jegyzetfüzettevékenységet tartalmazó folyamatot a futtatási előzmények megtekintéséhez.
A jegyzetfüzet-pillanatkép megnyitása esetén ez a funkció jelenleg nem támogatott.
A jegyzetfüzet-tevékenység bemenetét vagy kimenetét a bemenet vagy a Kimenet gombra kattintva tekintheti meg. Ha a folyamat felhasználói hibával meghiúsult, válassza ki a kimenetet az eredménymező ellenőrzéséhez a felhasználói hiba részletes visszakövetkeztetése megtekintéséhez.
