Toplu İş

  • Makale

Ortak parametreler ve üst bilgiler

Aşağıdaki bilgiler, yapabileceğiniz kümelerle ilgili tüm görevler için ortaktır:

  • {cluster-endpoint} öğesini kümenizin yönetim uç noktasının URL'si ile değiştirin. (örneğin, myendpoint.azurehdinsight.net)

  • {batch-id} öğesini iş gönderiminde döndürülen toplu iş kimliğiyle değiştirin.

  • Content-Type üst bilgisini application/json olarak ayarlayın.

  • HTTP temel kimlik doğrulamasını kullanarak uç noktayla kimlik doğrulaması.

Yeni toplu iş oluşturma

Jar'dan yeni bir toplu iş gönderin.

İstek

Bkz. Kümeler tarafından kullanılan üst bilgiler ve parametreler için ortak parametreler ve üst bilgiler .

Yöntem İstek URI'si
POST https://{cluster-endpoint}/livy/batches

Aşağıda yeni bir toplu iş oluşturmak için örnek bir istek gösterilmektedir

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
Öğe Adı Gerekli Tür Description
proxyUser Hayır Dize İşi yürütecek kimliğe bürünecek kullanıcı
dosyası Evet Dize Toplu işin jar dosyasının yolu.
args No Dize Dizisi Toplu işe geçirilen komut satırı bağımsız değişkenleri.
Classname Evet Dize Ana sınıfın sınıf adı.
Kavanoz No Dize Dizisi Java sınıf yolu üzerine yerleştirilecek dosyalar
pyFiles No Dize Dizisi PYTHONPATH'e yerleştirilecek dosyalar
files No Dize Dizisi Yürütücü çalışma dizinine yerleştirilecek dosyalar
driverMemory Hayır Dize Sürücü için bellek (1000M, 2G)
driverCores No Tamsayı Sürücü tarafından kullanılan çekirdek sayısı
executorMemory Hayır Dize Yürütücü için bellek (1000M, 2G)
yürütücü Çekirdekleri No Tamsayı Yürütücü tarafından kullanılan çekirdek sayısı
numExecutors No Tamsayı yürütücü sayısı
Arşiv No Dize Dizisi Sıkıştırılmayan arşivler (yalnızca YARN modu)

Yanıt

İstek başarıyla tamamlanırsa işlem 200 (Tamam) döndürür

Durum kodu: 200 Tamam

Yanıt gövdesi:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
Öğe Adı Gerekli Tür Description
kimlik Yes Tamsayı Toplu oturum kimliği
Günlük Yes Dize dizisi Bu toplu iş için günlük satırları dizisi.
state Hayır Dize Oturum durumu. Olası değer: ["starting", "idle", "error"]

Toplu işin tam günlüğünü alma

İstek

Bkz. Kümeler tarafından kullanılan üst bilgiler ve parametreler için ortak parametreler ve üst bilgiler .

Yöntem İstek URI'si
GET https://{cluster-endpoint}/livy/batches/{batch-id}/log

Yanıt

Doğrulama tamamlandıysa ve istek kabul edilirse işlem 200 (Tamam) döndürür.

Durum kodu: 200 Tamam

Yanıt gövdesi:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
Öğe adı Gerekli Tür Description
kimlik Yes Tamsayı Toplu oturum kimliği
Kaynak Yes Tamsayı Uzaklık
boyut Yes Tamsayı Toplam satır sayısı
Günlük Yes Dize dizisi Bu toplu iş için günlük satırları dizisi.

Toplu işin durumunu alma

İstek

Bkz. Kümeler tarafından kullanılan üst bilgiler ve parametreler için ortak parametreler ve üst bilgiler.

Yöntem İstek URI'si
GET https://{cluster-endpoint}/livy/batches/{batch-id}

Yanıt

Doğrulama tamamlandıysa ve istek kabul edilirse işlem 200 (Tamam) döndürür.

Durum kodu: 200 Tamam

Yanıt gövdesi:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
Öğe adı Gerekli Tür Description
kimlik Yes Tamsayı Toplu oturum kimliği
Günlük Yes Dize dizisi Bu toplu iş için günlük satırları dizisi.
state Evet Dize Oturum durumu. Olası değer: ["starting", "idle", "error"]

Toplu işi sonlandırma

İstek

Bkz. Kümeler tarafından kullanılan üst bilgiler ve parametreler için ortak parametreler ve üst bilgiler .

Yöntem İstek URI'si
DELETE https://{cluster-endpoint}/livy/batches/{batch-id}

Yanıt

Doğrulama tamamlandıysa ve istek kabul edilirse işlem 200 (Tamam) döndürür.

Durum kodu: 200 Tamam

Yanıt gövdesi:

{  
"msg" : "deleted"  
}
Öğe adı Gerekli Tür Description
İleti Evet Dize Silme iletisi.

Etkileşimli oturumlar

  • Başlatma, deyimi gönderme, deyim sonuçlarını alma ve etkileşimli oturumu sonlandırma

Tüm etkin toplu işleri iade et

İstek

Bkz. Kümeler tarafından kullanılan üst bilgiler ve parametreler için ortak parametreler ve üst bilgiler .

Yöntem İstek URI'si
GET https://{cluster-endpoint}/livy/batches

Yanıt

Doğrulama tamamlandıysa ve istek kabul edilirse işlem 200 (Tamam) döndürür.

Durum kodu: 200 Tamam

Yanıt gövdesi:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
Öğe adı Gerekli Tür Description
Kaynak Evet Dize Uzaklık
toplam Evet Dize Döndürülecek toplu iş sayısı
oturum Yes Karmaşık Tür Dizisi (Toplu İş) Etkin toplu işlerin listesi

Batch

Öğe adı Gerekli Tür Description
kimlik Yes Tamsayı Toplu oturum kimliği
Günlük Yes Dize dizisi Bu toplu iş için günlük satırları dizisi.
state Evet Dize Oturum durumu. Olası değer: ["starting", "idle", "error"]