Batch-taak

  • Artikel

Algemene parameters en headers

De volgende informatie is gemeenschappelijk voor alle taken die betrekking hebben op clusters die u kunt uitvoeren:

  • Vervang {cluster-endpoint} door de URL van het beheereindpunt van uw cluster. (bijvoorbeeld myendpoint.azurehdinsight.net)

  • Vervang {batch-id} door de batch-id die wordt geretourneerd bij het indienen van de taak.

  • Stel de header Content-Type in op application/json.

  • Verifieer met het eindpunt met behulp van HTTP-basisverificatie.

Een nieuwe batchtaak maken

Verzend een nieuwe batchtaak vanuit een JAR.

Aanvraag

Zie Algemene parameters en headers voor headers en parameters die worden gebruikt door clusters.

Methode Aanvraag-URI
POST https://{cluster-endpoint}/livy/batches

Hieronder ziet u een voorbeeld van een aanvraag voor het maken van een nieuwe batchtaak

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
Naam van element Vereist Type Beschrijving
proxyUser Nee Tekenreeks De gebruiker die moet imiteren die de taak uitvoert
file Ja Tekenreeks Pad naar het jar-bestand van de batchtaak.
argumenten Nee Matrix van tekenreeks Opdrachtregelargumenten doorgegeven aan de batchtaak.
Classname Ja Tekenreeks De klassenaam van de hoofdklasse.
Potten Nee Matrix van tekenreeks Bestanden die op het java-klassepad moeten worden geplaatst
pyFiles Nee Matrix van tekenreeks Bestanden die moeten worden geplaatst op het PYTHONPATH
bestanden Nee Matrix van tekenreeks Bestanden die in de werkmap van het uitvoerprogramma moeten worden geplaatst
driverMemory Nee Tekenreeks Geheugen voor stuurprogramma (1000M, 2G)
driverCores Nee Geheel getal Aantal kernen dat door het stuurprogramma wordt gebruikt
executorMemory Nee Tekenreeks Geheugen voor uitvoerder (1000M, 2G)
executorCores Nee Geheel getal Aantal kernen dat door de uitvoerder wordt gebruikt
numExecutors Nee Geheel getal aantal uitvoerders
Archieven Nee Matrix van tekenreeks Archieven die moeten worden gedecomprimeerd (alleen YARN-modus)

Antwoord

De bewerking retourneert 200 (OK) als de aanvraag is voltooid

Statuscode: 200 OK

Hoofdtekst van antwoord:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
Naam van element Vereist Type Beschrijving
id Ja Geheel getal De batchsessie-id
logboek Ja Matrix van tekenreeks Matrix van logboekregels voor deze batchtaak.
staat Nee Tekenreeks De sessiestatus. Mogelijke waarde: ["starten", "niet-actief", "fout"]

Het volledige logboek van een batchtaak ophalen

Aanvraag

Zie Algemene parameters en headers voor headers en parameters die worden gebruikt door clusters.

Methode Aanvraag-URI
GET https://{cluster-endpoint}/livy/batches/{batch-id}/log

Antwoord

Als de validatie is voltooid en de aanvraag wordt geaccepteerd, retourneert de bewerking 200 (OK).

Statuscode: 200 OK

Hoofdtekst van antwoord:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
Elementnaam Vereist Type Beschrijving
id Ja Geheel getal De batchsessie-id
from Ja Geheel getal Offset
grootte Ja Geheel getal Totaal aantal regels
logboek Ja Matrix van tekenreeks Matrix van logboekregels voor deze batchtaak.

De status van een batchtaak ophalen

Aanvraag

Zie Algemene parameters en headers voor headers en parameters die worden gebruikt door clusters.

Methode Aanvraag-URI
GET https://{cluster-endpoint}/livy/batches/{batch-id}

Antwoord

Als de validatie is voltooid en de aanvraag wordt geaccepteerd, retourneert de bewerking 200 (OK).

Statuscode: 200 OK

Hoofdtekst van antwoord:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
Elementnaam Vereist Type Beschrijving
id Ja Geheel getal De batchsessie-id
logboek Ja Matrix van tekenreeksen Matrix van logboekregels voor deze batchtaak.
staat Ja Tekenreeks De sessiestatus. Mogelijke waarde: ["starten", "niet-actief", "fout"]

Een batchtaak beëindigen

Aanvraag

Zie Algemene parameters en headers voor headers en parameters die worden gebruikt door clusters.

Methode Aanvraag-URI
DELETE https://{cluster-endpoint}/livy/batches/{batch-id}

Antwoord

Als de validatie is voltooid en de aanvraag wordt geaccepteerd, retourneert de bewerking 200 (OK).

Statuscode: 200 OK

Hoofdtekst van antwoord:

{  
"msg" : "deleted"  
}
Elementnaam Vereist Type Beschrijving
Bericht Ja Tekenreeks Het bericht van de verwijdering.

Interactieve sessies

  • Een interactieve sessie starten, indienen, instructieresultaten ophalen en beëindigen

Alle actieve batchtaken retourneren

Aanvraag

Zie Algemene parameters en headers voor headers en parameters die worden gebruikt door clusters.

Methode Aanvraag-URI
GET https://{cluster-endpoint}/livy/batches

Antwoord

Als de validatie is voltooid en de aanvraag wordt geaccepteerd, retourneert de bewerking 200 (OK).

Statuscode: 200 OK

Hoofdtekst van antwoord:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
Elementnaam Vereist Type Beschrijving
from Ja Tekenreeks Offset
totaal Ja Tekenreeks Aantal te retourneren batches
Sessie Ja Matrix van complex type (batch) Een lijst met actieve batchtaken

Batch

Elementnaam Vereist Type Beschrijving
id Ja Geheel getal De batchsessie-id
logboek Ja Matrix van tekenreeksen Matrix van logboekregels voor deze batchtaak.
staat Ja Tekenreeks De sessiestatus. Mogelijke waarde: ["starten", "niet-actief", "fout"]