Megosztás a következőn keresztül:

Batch-feladat

  • Cikk

Gyakori paraméterek és fejlécek

Az alábbi információk gyakoriak a fürtökkel kapcsolatos összes feladattal kapcsolatban:

  • Cserélje le a {cluster-endpoint} elemet a fürt felügyeleti végpontjának URL-címére. (például myendpoint.azurehdinsight.net)

  • Cserélje le a {batch-id} elemet a feladatbeküldéskor visszaadott kötegazonosítóra.

  • Állítsa a Content-Type fejlécet application/json értékre.

  • Hitelesítés a végponttal alapszintű HTTP-hitelesítéssel.

Új kötegelt feladat létrehozása

Küldjön be egy új kötegelt feladatot egy jar-fájlból.

Kérés

Tekintse meg a fürtök által használt fejlécek és paraméterek gyakori paramétereit és fejléceit .

Metódus Kérés URI-ja
POST https://{cluster-endpoint}/livy/batches

Az alábbiakban egy példakérés látható egy új kötegelt feladat létrehozására

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
Elem neve Kötelező Típus Description
proxyFelhasználó Nem Sztring A feladatot végrehajtó felhasználó megszemélyesítése
file Igen Sztring A kötegelt feladat jar-fájljának elérési útja.
args No Sztringtömb A batch feladatnak átadott parancssori argumentumok.
Osztálynév Igen Sztring A főosztály osztályneve.
Tégelyek No Sztringtömb A Java-osztályúton elhelyezendő fájlok
pyFiles No Sztringtömb A PYTHONPATH-on elhelyezendő fájlok
fájlok No Sztringtömb A végrehajtó munkakönyvtárába helyezendő fájlok
driverMemory Nem Sztring Illesztőprogram memóriája (1000M, 2G)
driverCores No Egész szám Az illesztőprogram által használt magok száma
executorMemory Nem Sztring Memória a végrehajtó számára (1000M, 2G)
executorCores No Egész szám A végrehajtó által használt magok száma
numExecutors No Egész szám végrehajtók száma
Archívum No Sztringtömb Tömörítetlen archívumok (csak YARN mód)

Reagálás

A művelet 200 (OK) értéket ad vissza, ha a kérés sikeresen befejeződött

Állapotkód: 200 OK

Válasz törzse:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
Elem neve Kötelező Típus Description
id Yes Egész szám A köteg munkamenet-azonosítója
Napló Yes A sztring tömbje A kötegelt feladat naplósorainak tömbje.
állapot Nem Sztring A munkamenet állapota. Lehetséges érték: ["starting", "tétlen", "hiba"]

Kötegelt feladat teljes naplójának lekérése

Kérés

Tekintse meg a fürtök által használt fejlécek és paraméterek gyakori paramétereit és fejléceit .

Metódus Kérés URI-ja
GET https://{cluster-endpoint}/livy/batches/{batch-id}/log

Reagálás

Ha az ellenőrzés befejeződött, és a kérés elfogadva, a művelet 200 (OK) értéket ad vissza.

Állapotkód: 200 OK

Válasz törzse:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
Elem neve Kötelező Típus Description
id Yes Egész szám A köteg munkamenet-azonosítója
forrás: Yes Egész szám Eltolás
size Yes Egész szám Sorok teljes száma
Napló Yes A sztring tömbje A kötegelt feladat naplósorainak tömbje.

Kötegelt feladat állapotának lekérése

Kérés

Lásd: A fürtök által használt fejlécek és paraméterek gyakori paraméterei és fejlécei.

Metódus Kérés URI-ja
GET https://{cluster-endpoint}/livy/batches/{batch-id}

Reagálás

Ha az ellenőrzés befejeződött, és a kérés elfogadva, a művelet 200 (OK) értéket ad vissza.

Állapotkód: 200 OK

Válasz törzse:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
Elem neve Kötelező Típus Description
id Yes Egész szám A köteg munkamenet-azonosítója
Napló Yes Sztringek tömbje A kötegelt feladat naplósorainak tömbje.
állapot Igen Sztring A munkamenet állapota. Lehetséges érték: ["starting", "tétlen", "hiba"]

Kötegelt feladat leállása

Kérés

Lásd: A fürtök által használt fejlécek és paraméterek gyakori paraméterei és fejlécei .

Metódus Kérés URI-ja
DELETE https://{cluster-endpoint}/livy/batches/{batch-id}

Reagálás

Ha az ellenőrzés befejeződött, és a kérés elfogadva, a művelet 200 (OK) értéket ad vissza.

Állapotkód: 200 OK

Válasz törzse:

{  
"msg" : "deleted"  
}
Elem neve Kötelező Típus Description
Üzenet Igen Sztring A törlés üzenete.

Interaktív munkamenetek

  • Utasítás indítása, elküldése, utasítás eredményeinek lekérése és interaktív munkamenet leállítása

Az összes aktív kötegelt feladat visszaküldése

Kérés

Lásd: A fürtök által használt fejlécek és paraméterek gyakori paraméterei és fejlécei .

Metódus Kérés URI-ja
GET https://{cluster-endpoint}/livy/batches

Reagálás

Ha az ellenőrzés befejeződött, és a kérés elfogadva, a művelet 200 (OK) értéket ad vissza.

Állapotkód: 200 OK

Válasz törzse:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
Elem neve Kötelező Típus Description
forrás: Igen Sztring Eltolás
összesen Igen Sztring A visszaadandó kötegek száma
munkamenet Yes Komplex típusú tömb (Batch) Az aktív kötegelt feladatok listája

Batch

Elem neve Kötelező Típus Description
id Yes Egész szám A köteg munkamenet-azonosítója
Napló Yes Sztringek tömbje A kötegelt feladat naplósorainak tömbje.
állapot Igen Sztring A munkamenet állapota. Lehetséges érték: ["starting", "tétlen", "hiba"]