Job - Build

Référence

Service:: Data Lake Analytics

API Version:: 2016-11-01

Génère (compile) le travail spécifié dans le compte de Data Lake Analytics spécifié pour l’exactitude et la validation du travail.

POST https://{accountName}.{adlaJobDnsSuffix}/BuildJob?api-version=2016-11-01

Paramètres URI

Nom	Dans	Obligatoire	Type	Description
accountName	path	True	string	Le compte Azure Data Lake Analytics sur lequel exécuter des opérations de travail.
adlaJobDnsSuffix	path	True	string	Obtient le suffixe DNS utilisé comme base pour toutes les demandes de service Azure Data Lake Analytics Job.
api-version	query	True	string	Version de l’API cliente.

Corps de la demande

Nom	Obligatoire	Type	Description
properties	True	CreateJobProperties: CreateUSqlJobProperties	propriétés spécifiques au travail.
type	True	JobType	type de travail du travail actuel (Hive ou USql).
name		string	nom convivial du travail à générer.

Réponses

Nom	Type	Description
200 OK	JobInformation	Le script de travail a été correctement généré.

Exemples

Builds (compiles) the specified job in the specified Data Lake Analytics account for job correctness and validation

Sample Request

HTTP

POST https://account123.contosopipelineservice.com/BuildJob?api-version=2016-11-01

{
  "type": "USql",
  "properties": {
    "runtimeVersion": "test_runtime_version",
    "script": "test_script",
    "type": "USql"
  },
  "name": "test_name"
}

Sample Response

Status code:: 200

{
  "jobId": "076713da-9018-41ae-a3bd-9eab14e54d09",
  "name": "test_name",
  "type": "USql",
  "submitter": "test_submitter",
  "degreeOfParallelism": 1,
  "priority": 1,
  "submitTime": "2017-04-18T11:16:49.0748958-07:00",
  "startTime": "2017-04-18T11:16:49.0748958-07:00",
  "endTime": "2017-04-18T11:16:49.0748958-07:00",
  "state": "Accepted",
  "result": "Succeeded",
  "logFolder": "adl://contosoadla.azuredatalakestore.net/system/jobservice/jobs/Usql/2016/03/13/17/18/5fe51957-93bc-4de0-8ddc-c5a4753b068b/logs/",
  "logFilePatterns": [
    "test_log_file_pattern_1",
    "test_log_file_pattern_2"
  ],
  "related": {
    "pipelineId": "076713da-9018-41ae-a3bd-9eab14e54d09",
    "pipelineName": "test_pipeline_name",
    "pipelineUri": "https://account123.contosopipelineservice.com/076713da-9018-41ae-a3bd-9eab14e54d09",
    "runId": "67034c12-b250-468e-992d-39fb978bde2c",
    "recurrenceId": "67034c12-b250-468e-992d-39fb978bde2d",
    "recurrenceName": "test_recurrence_name"
  },
  "errorMessage": [
    {
      "description": "test_description",
      "details": "test_details",
      "endOffset": 1,
      "errorId": "test_error_id",
      "filePath": "adl://contosoadla.azuredatalakestore.net/system/jobservice/jobs/Usql/2016/03/13/17/18/5fe51957-93bc-4de0-8ddc-c5a4753b068b/test_file.txt",
      "helpLink": "https://azure.microsoft.com/en-us/blog/introducing-azure-data-lake/",
      "internalDiagnostics": "test_internal_diagnostics",
      "lineNumber": 1,
      "message": "test_message",
      "resolution": "test_resolution",
      "innerError": {
        "diagnosticCode": 1,
        "severity": "Warning",
        "details": "test_details",
        "component": "test_component",
        "errorId": "test_error_id",
        "helpLink": "https://azure.microsoft.com/en-us/blog/introducing-azure-data-lake/",
        "internalDiagnostics": "test_internal_diagnostics",
        "message": "test_message",
        "resolution": "test_resolution",
        "source": "SYSTEM",
        "description": "test_description"
      },
      "severity": "Warning",
      "source": "SYSTEM",
      "startOffset": 1
    }
  ],
  "stateAuditRecords": [
    {
      "newState": "test_new_state",
      "timeStamp": "2017-04-18T11:16:49.0748958-07:00",
      "requestedByUser": "test_requested_by_user",
      "details": "test_details"
    }
  ],
  "properties": {
    "runtimeVersion": "test_runtime_version",
    "script": "test_script",
    "type": "USql"
  }
}

Définitions

Nom	Description
BuildJobParameters	Paramètres utilisés pour générer un nouveau travail Data Lake Analytics.
CompileMode	mode de compilation spécifique pour le travail utilisé pendant l’exécution. Si ce n’est pas spécifié lors de la soumission, le serveur détermine le mode de compilation optimal.
CreateUSqlJobProperties	Propriétés des travaux U-SQL utilisées lors de l’envoi de travaux U-SQL.
Diagnostics	Informations de diagnostic d’erreur pour les travaux ayant échoué.
HiveJobProperties	Propriétés de travail Hive utilisées lors de la récupération des travaux Hive.
JobDataPath	Élément de chemin de données de travail Data Lake Analytics.
JobErrorDetails	Détails de l’erreur du travail Data Lake Analytics.
JobInformation	Propriétés d’informations de travail Data Lake Analytics étendues retournées lors de la récupération d’un travail spécifique.
JobInnerError	Détails de l’erreur du travail Data Lake Analytics.
JobRelationshipProperties	Propriétés d’informations sur la relation de travail, y compris les informations de pipeline, les informations de corrélation, etc.
JobResource	Ressources de travail Data Lake Analytics.
JobResourceType	type de ressource de travail.
JobResult	le résultat de l’exécution du travail ou le résultat actuel du travail en cours d’exécution.
JobState	état du travail. Lorsque le travail est à l’état Terminé, reportez-vous à Result et ErrorMessage pour plus d’informations.
JobStateAuditRecord	Le Data Lake Analytics enregistrements d’audit de l’état du travail pour le suivi du cycle de vie d’un travail.
JobStatistics	Statistiques d’exécution du travail Data Lake Analytics.
JobStatisticsVertexStage	Le Data Lake Analytics informations sur l’étape de vertex des statistiques du travail.
JobType	type de travail du travail actuel (Hive ou USql).
SeverityTypes	gravité de l’erreur.
USqlJobProperties	Propriétés de travail U-SQL utilisées lors de la récupération de travaux U-SQL.

BuildJobParameters

Paramètres utilisés pour générer un nouveau travail Data Lake Analytics.

Nom	Type	Description
name	string	nom convivial du travail à générer.
properties	CreateJobProperties: CreateUSqlJobProperties	propriétés spécifiques au travail.
type	JobType	type de travail du travail actuel (Hive ou USql).

CompileMode

mode de compilation spécifique pour le travail utilisé pendant l’exécution. Si ce n’est pas spécifié lors de la soumission, le serveur détermine le mode de compilation optimal.

Nom	Type	Description
Full	string
Semantic	string
SingleBox	string

CreateUSqlJobProperties

Propriétés des travaux U-SQL utilisées lors de l’envoi de travaux U-SQL.

Nom	Type	Description
compileMode	CompileMode	mode de compilation spécifique pour le travail utilisé pendant l’exécution. Si ce n’est pas spécifié lors de la soumission, le serveur détermine le mode de compilation optimal.
runtimeVersion	string	version runtime du moteur Data Lake Analytics à utiliser pour le type spécifique de travail en cours d’exécution.
script	string	script à exécuter. Notez que la taille maximale du script est de 3 Mo.
type	string: USql	type de travail du travail en cours (c’est-à-dire USql).

Diagnostics

Informations de diagnostic d’erreur pour les travaux ayant échoué.

Nom	Type	Description
columnNumber	integer	colonne dans laquelle l’erreur s’est produite.
end	integer	index de fin de l’erreur.
lineNumber	integer	numéro de ligne sur lequel l’erreur s’est produite.
message	string	le message d’erreur.
severity	SeverityTypes	gravité de l’erreur.
start	integer	index de départ de l’erreur.

HiveJobProperties

Propriétés de travail Hive utilisées lors de la récupération des travaux Hive.

Nom	Type	Description
executedStatementCount	integer	nombre d’instructions qui ont été exécutées en fonction du script
logsLocation	string	Emplacement des journaux Hive
outputLocation	string	l’emplacement des fichiers de sortie du travail Hive (à la fois la sortie et les résultats de l’exécution)
runtimeVersion	string	version runtime du moteur de Data Lake Analytics à utiliser pour le type de travail spécifique en cours d’exécution.
script	string	script à exécuter. Notez que la taille maximale du script est de 3 Mo.
statementCount	integer	nombre d’instructions qui seront exécutées en fonction du script
type	string: Hive	type de travail du travail actuel (c’est-à-dire Hive ou USql).

JobDataPath

Élément de chemin de données de travail Data Lake Analytics.

Nom	Type	Description
command	string	commande à laquelle ces données de travail sont liées.
jobId	string	l’ID du travail pour lequel ces données sont destinées.
paths	string[]	liste des chemins d’accès à toutes les données de travail.

JobErrorDetails

Détails de l’erreur du travail Data Lake Analytics.

Nom	Type	Description
description	string	description du message d’erreur
details	string	détails du message d’erreur.
endOffset	integer	décalage de fin dans le travail où l’erreur a été trouvée.
errorId	string	identificateur spécifique du type d’erreur rencontré dans le travail.
filePath	string	chemin d’accès à tous les fichiers d’erreur supplémentaires, le cas échéant.
helpLink	string	le lien vers MSDN ou l’aide Azure pour ce type d’erreur, le cas échéant.
innerError	JobInnerError	l’erreur interne de ce message d’erreur de travail spécifique, le cas échéant.
internalDiagnostics	string	la trace de la pile de diagnostics interne si l’utilisateur qui demande les détails de l’erreur du travail dispose d’autorisations suffisantes, il sera récupéré, sinon, il sera vide.
lineNumber	integer	numéro de ligne spécifique dans le travail où l’erreur s’est produite.
message	string	message d’erreur convivial pour l’échec.
resolution	string	résolution recommandée pour l’échec, le cas échéant.
severity	SeverityTypes	niveau de gravité de la défaillance.
source	string	la source ultime de l’échec (généralement SYSTEM ou USER).
startOffset	integer	décalage de début dans le travail où l’erreur a été trouvée

JobInformation

Propriétés d’informations de travail Data Lake Analytics étendues retournées lors de la récupération d’un travail spécifique.

Nom	Type	Valeur par défaut	Description
degreeOfParallelism	integer	1	degré de parallélisme utilisé pour ce travail.
degreeOfParallelismPercent	number		degré de parallélisme en pourcentage utilisé pour ce travail.
endTime	string		heure d’achèvement du travail.
errorMessage	JobErrorDetails[]		les détails du message d’erreur pour le travail, si le travail a échoué.
hierarchyQueueNode	string		nom du nœud de file d’attente de hiérarchie auquel ce travail est affecté, null si le travail n’a pas encore été attribué ou si le compte n’a pas de file d’attente hiérarchique.
jobId	string		l’identificateur unique du travail (un GUID).
logFilePatterns	string[]		liste des modèles de nom de fichier journal à trouver dans logFolder. '' est le seul caractère correspondant autorisé. Exemple de format : jobExecution.log ou mylog.txt
logFolder	string		chemin du dossier journal à utiliser au format suivant : adl ://.azuredatalakestore.net/system/jobservice/jobs/Usql/2016/03/13/17/18/5fe51957-93bc-4de0-8ddc-c5a4753b068b/logs/.
name	string		nom convivial du travail.
priority	integer		valeur de priorité pour le travail en cours. Les nombres inférieurs ont une priorité plus élevée. Par défaut, une tâche affiche une priorité de 1 000. La valeur doit être supérieure à 0.
properties	JobProperties: HiveJobProperties USqlJobProperties		propriétés spécifiques au travail.
related	JobRelationshipProperties		les propriétés d’informations sur les relations de travail périodiques.
result	JobResult		le résultat de l’exécution du travail ou le résultat actuel du travail en cours d’exécution.
startTime	string		heure de début du travail.
state	JobState		état du travail. Lorsque le travail est à l’état Terminé, reportez-vous à Result et ErrorMessage pour plus d’informations.
stateAuditRecords	JobStateAuditRecord[]		les enregistrements d’audit de l’état du travail, indiquant quand diverses opérations ont été effectuées sur ce travail.
submitTime	string		heure à laquelle le travail a été soumis au service.
submitter	string		l’utilisateur ou le compte qui a envoyé le travail.
type	JobType		type de travail du travail actuel (Hive ou USql).

JobInnerError

Détails de l’erreur du travail Data Lake Analytics.

Nom	Type	Description
component	string	composant qui a échoué.
description	string	description du message d’erreur
details	string	détails du message d’erreur.
diagnosticCode	integer	code d’erreur de diagnostic.
errorId	string	identificateur spécifique du type d’erreur rencontré dans le travail.
helpLink	string	le lien vers MSDN ou l’aide Azure pour ce type d’erreur, le cas échéant.
innerError	JobInnerError	l’erreur interne de ce message d’erreur de travail spécifique, le cas échéant.
internalDiagnostics	string	la trace de la pile de diagnostics interne si l’utilisateur qui demande les détails de l’erreur du travail dispose d’autorisations suffisantes, il sera récupéré, sinon, il sera vide.
message	string	message d’erreur convivial pour l’échec.
resolution	string	résolution recommandée pour l’échec, le cas échéant.
severity	SeverityTypes	niveau de gravité de la défaillance.
source	string	la source ultime de l’échec (généralement SYSTEM ou USER).

JobRelationshipProperties

Propriétés d’informations sur la relation de travail, y compris les informations de pipeline, les informations de corrélation, etc.

Nom	Type	Description
pipelineId	string	l’identificateur de pipeline de relation de travail (un GUID).
pipelineName	string	nom convivial du pipeline de relation de travail, qui n’a pas besoin d’être unique.
pipelineUri	string	l’URI de pipeline, unique, est lié au service d’origine de ce pipeline.
recurrenceId	string	identificateur de périodicité (GUID), unique par activité/script, quelles que soient les itérations. Il s’agit d’un élément permettant de lier différentes occurrences d’un même travail.
recurrenceName	string	nom de périodicité, nom convivial pour la corrélation entre les travaux.
runId	string	l’identificateur d’exécution (GUID), identificateur unique de l’itération de ce pipeline.

JobResource

Ressources de travail Data Lake Analytics.

Nom	Type	Description
name	string	nom de la ressource.
resourcePath	string	chemin d’accès à la ressource.
type	JobResourceType	type de ressource de travail.

JobResourceType

type de ressource de travail.

Nom	Type	Description
JobManagerResource	string
JobManagerResourceInUserFolder	string
StatisticsResource	string
StatisticsResourceInUserFolder	string
VertexResource	string
VertexResourceInUserFolder	string

JobResult

le résultat de l’exécution du travail ou le résultat actuel du travail en cours d’exécution.

Nom	Type	Description
Cancelled	string
Failed	string
None	string
Succeeded	string

JobState

état du travail. Lorsque le travail est à l’état Terminé, reportez-vous à Result et ErrorMessage pour plus d’informations.

Nom	Type	Description
Accepted	string
Compiling	string
Ended	string
New	string
Paused	string
Queued	string
Running	string
Scheduling	string
Starting	string
WaitingForCapacity	string

JobStateAuditRecord

Le Data Lake Analytics enregistrements d’audit de l’état du travail pour le suivi du cycle de vie d’un travail.

Nom	Type	Description
details	string	les détails du journal d’audit.
newState	string	le nouvel état dans lequel se trouve le travail.
requestedByUser	string	l’utilisateur qui demande la modification.
timeStamp	string	l’horodatage indiquant que le changement d’état a eu lieu.

JobStatistics

Statistiques d’exécution du travail Data Lake Analytics.

Nom	Type	Description
finalizingTimeUtc	string	le travail finalisant l’heure de début.
lastUpdateTimeUtc	string	heure de la dernière mise à jour pour les statistiques.
stages	JobStatisticsVertexStage[]	liste des étapes du travail.

JobStatisticsVertexStage

Le Data Lake Analytics informations sur l’étape de vertex des statistiques du travail.

Nom	Type	Description
dataRead	integer	quantité de données lues, en octets.
dataReadCrossPod	integer	quantité de données lues sur plusieurs pods, en octets.
dataReadIntraPod	integer	quantité de données lues dans un pod, en octets.
dataToRead	integer	quantité de données restantes à lire, en octets.
dataWritten	integer	quantité de données écrites, en octets.
duplicateDiscardCount	integer	nombre de doublons qui ont été ignorés.
failedCount	integer	nombre d’échecs qui se sont produits à cette étape.
maxVertexDataRead	integer	la quantité maximale de données lues dans un sommet unique, en octets.
minVertexDataRead	integer	la quantité minimale de données lues dans un sommet unique, en octets.
readFailureCount	integer	nombre d’échecs de lecture à cette étape.
revocationCount	integer	nombre de sommets qui ont été révoqués au cours de cette étape.
runningCount	integer	nombre de sommets en cours d’exécution à cette étape.
scheduledCount	integer	nombre de sommets actuellement planifiés à cette étape
stageName	string	nom de cette étape dans l’exécution du travail.
succeededCount	integer	nombre de sommets qui ont réussi à cette étape.
tempDataWritten	integer	quantité de données temporaires écrites, en octets.
totalCount	integer	nombre total de sommets pour cette étape.
totalFailedTime	string	la durée pendant laquelle les sommets ayant échoué ont été pris en charge à cette étape.
totalProgress	integer	la progression actuelle de cette étape, sous forme de pourcentage.
totalSucceededTime	string	la durée pendant laquelle tous les sommets réussis ont pris dans cette étape.

JobType

type de travail du travail actuel (Hive ou USql).

Nom	Type	Description
Hive	string
USql	string

SeverityTypes

gravité de l’erreur.

Nom	Type	Description
Deprecated	string
Error	string
Info	string
SevereWarning	string
UserWarning	string
Warning	string

USqlJobProperties

Propriétés de travail U-SQL utilisées lors de la récupération de travaux U-SQL.

Nom	Type	Description
algebraFilePath	string	chemin du fichier algèbre une fois le travail terminé
compileMode	CompileMode	mode de compilation spécifique pour le travail utilisé pendant l’exécution. Si ce n’est pas spécifié lors de l’envoi, le serveur détermine le mode de compilation optimal.
debugData	JobDataPath	emplacements de données de débogage spécifiques au travail.
diagnostics	Diagnostics[]	diagnostics pour le travail.
resources	JobResource[]	liste des ressources requises par le travail
rootProcessNodeId	string	ID utilisé pour identifier le gestionnaire de travaux coordonnant l’exécution du travail. Cette valeur ne doit pas être définie par l’utilisateur et sera ignorée si elle l’est.
runtimeVersion	string	version runtime du moteur de Data Lake Analytics à utiliser pour le type de travail spécifique en cours d’exécution.
script	string	script à exécuter. Notez que la taille maximale du script est de 3 Mo.
statistics	JobStatistics	statistiques spécifiques au travail.
totalCompilationTime	string	durée totale de compilation de ce travail. Cette valeur ne doit pas être définie par l’utilisateur et sera ignorée si elle l’est.
totalPauseTime	string	durée totale de pause de ce travail. Cette valeur ne doit pas être définie par l’utilisateur et sera ignorée si elle l’est.
totalQueuedTime	string	durée totale passée par ce travail en file d’attente. Cette valeur ne doit pas être définie par l’utilisateur et sera ignorée si elle l’est.
totalRunningTime	string	durée totale d’exécution de ce travail. Cette valeur ne doit pas être définie par l’utilisateur et sera ignorée si elle l’est.
type	string: USql	type de travail du travail actuel (c’est-à-dire Hive ou USql).
yarnApplicationId	string	ID utilisé pour identifier l’application yarn qui exécute le travail. Cette valeur ne doit pas être définie par l’utilisateur et sera ignorée si elle l’est.
yarnApplicationTimeStamp	integer	timestamp (en graduations) de l’application yarn qui exécute le travail. Cette valeur ne doit pas être définie par l’utilisateur et sera ignorée si elle l’est.