Job - Create

Referencia

Service:: Data Lake Analytics

API Version:: 2016-11-01

Envía un trabajo a la cuenta de Data Lake Analytics especificada.

PUT https://{accountName}.{adlaJobDnsSuffix}/Jobs/{jobIdentity}?api-version=2016-11-01

Parámetros de identificador URI

Nombre	En	Requerido	Tipo	Description
accountName	path	True	string	La cuenta de Azure Data Lake Analytics en la que se van a ejecutar operaciones de trabajo.
adlaJobDnsSuffix	path	True	string	Obtiene el sufijo DNS usado como base para todas las solicitudes de servicio de trabajo de Azure Data Lake Analytics.
jobIdentity	path	True	string uuid	Identificador del trabajo. Identifica de forma única el trabajo en todos los trabajos enviados al servicio.
api-version	query	True	string	Versión de api de cliente.

Cuerpo de la solicitud

Nombre	Requerido	Tipo	Description
name	True	string	el nombre descriptivo del trabajo que se va a enviar.
properties	True	CreateJobProperties: CreateUSqlJobProperties	las propiedades específicas del trabajo.
type	True	JobType	tipo de trabajo del trabajo actual (Hive o USql).
degreeOfParallelism		integer	grado de paralelismo utilizado para este trabajo. Se debe especificar como máximo uno de degreeOfParallelism y degreeOfParallelismPercent. Si no es ninguno, se usará un valor predeterminado de 1.
degreeOfParallelismPercent		number	grado de paralelismo en porcentaje utilizado para este trabajo. Se debe especificar como máximo uno de degreeOfParallelism y degreeOfParallelismPercent. Si no es ninguno, se usará un valor predeterminado de 1 para degreeOfParallelism.
logFilePatterns		string[]	la lista de patrones de nombre de archivo de registro que se van a buscar en logFolder. '' es el único carácter coincidente permitido. Formato de ejemplo: jobExecution.log o mylog.txt
priority		integer	valor de prioridad que se va a usar para el trabajo actual. Los números más bajos tienen mayor prioridad. De manera predeterminada, un trabajo tiene una prioridad de 1000. Debe ser mayor que 0.
related		JobRelationshipProperties	las propiedades de información de relación de trabajo periódicas.

Respuestas

Nombre	Tipo	Description
200 OK	JobInformation	Se envió correctamente el trabajo.

Ejemplos

Submits a job to the specified Data Lake Analytics account

Sample Request

HTTP

PUT https://account123.contosopipelineservice.com/Jobs/076713da-9018-41ae-a3bd-9eab14e54d09?api-version=2016-11-01

{
  "type": "USql",
  "properties": {
    "runtimeVersion": "test_runtime_version",
    "script": "test_script",
    "type": "USql"
  },
  "name": "test_name",
  "degreeOfParallelism": 1,
  "priority": 1,
  "logFilePatterns": [
    "test_log_file_pattern_1",
    "test_log_file_pattern_2"
  ],
  "related": {
    "pipelineId": "076713da-9018-41ae-a3bd-9eab14e54d09",
    "pipelineName": "test_pipeline_name",
    "pipelineUri": "https://account123.contosopipelineservice.com/076713da-9018-41ae-a3bd-9eab14e54d09",
    "runId": "67034c12-b250-468e-992d-39fb978bde2c",
    "recurrenceId": "67034c12-b250-468e-992d-39fb978bde2d",
    "recurrenceName": "test_recurrence_name"
  }
}

Sample Response

Status code:: 200

{
  "jobId": "076713da-9018-41ae-a3bd-9eab14e54d09",
  "name": "test_name",
  "type": "USql",
  "submitter": "test_submitter",
  "degreeOfParallelism": 1,
  "priority": 1,
  "submitTime": "2017-04-18T11:16:49.0748958-07:00",
  "startTime": "2017-04-18T11:16:49.0748958-07:00",
  "endTime": "2017-04-18T11:16:49.0748958-07:00",
  "state": "Accepted",
  "result": "Succeeded",
  "logFolder": "adl://contosoadla.azuredatalakestore.net/system/jobservice/jobs/Usql/2016/03/13/17/18/5fe51957-93bc-4de0-8ddc-c5a4753b068b/logs/",
  "logFilePatterns": [
    "test_log_file_pattern_1",
    "test_log_file_pattern_2"
  ],
  "related": {
    "pipelineId": "076713da-9018-41ae-a3bd-9eab14e54d09",
    "pipelineName": "test_pipeline_name",
    "pipelineUri": "https://account123.contosopipelineservice.com/076713da-9018-41ae-a3bd-9eab14e54d09",
    "runId": "67034c12-b250-468e-992d-39fb978bde2c",
    "recurrenceId": "67034c12-b250-468e-992d-39fb978bde2d",
    "recurrenceName": "test_recurrence_name"
  },
  "errorMessage": [
    {
      "description": "test_description",
      "details": "test_details",
      "endOffset": 1,
      "errorId": "test_error_id",
      "filePath": "adl://contosoadla.azuredatalakestore.net/system/jobservice/jobs/Usql/2016/03/13/17/18/5fe51957-93bc-4de0-8ddc-c5a4753b068b/test_file.txt",
      "helpLink": "https://azure.microsoft.com/en-us/blog/introducing-azure-data-lake/",
      "internalDiagnostics": "test_internal_diagnostics",
      "lineNumber": 1,
      "message": "test_message",
      "resolution": "test_resolution",
      "innerError": {
        "diagnosticCode": 1,
        "severity": "Warning",
        "details": "test_details",
        "component": "test_component",
        "errorId": "test_error_id",
        "helpLink": "https://azure.microsoft.com/en-us/blog/introducing-azure-data-lake/",
        "internalDiagnostics": "test_internal_diagnostics",
        "message": "test_message",
        "resolution": "test_resolution",
        "source": "SYSTEM",
        "description": "test_description"
      },
      "severity": "Warning",
      "source": "SYSTEM",
      "startOffset": 1
    }
  ],
  "stateAuditRecords": [
    {
      "newState": "test_new_state",
      "timeStamp": "2017-04-18T11:16:49.0748958-07:00",
      "requestedByUser": "test_requested_by_user",
      "details": "test_details"
    }
  ],
  "properties": {
    "runtimeVersion": "test_runtime_version",
    "script": "test_script",
    "type": "USql"
  }
}

Definiciones

Nombre	Description
CompileMode	el modo de compilación específico para el trabajo usado durante la ejecución. Si no se especifica durante el envío, el servidor determinará el modo de compilación óptimo.
CreateJobParameters	Parámetros usados para enviar un nuevo trabajo de Data Lake Analytics.
CreateUSqlJobProperties	Propiedades de trabajo de U-SQL usadas al enviar trabajos de U-SQL.
Diagnostics	Información de diagnóstico de errores para trabajos con errores.
HiveJobProperties	Propiedades del trabajo de Hive usadas al recuperar trabajos de Hive.
JobDataPath	Un Data Lake Analytics elemento de ruta de acceso de datos del trabajo.
JobErrorDetails	Detalles del error del trabajo Data Lake Analytics.
JobInformation	Las propiedades extendidas Data Lake Analytics información del trabajo devueltas al recuperar un trabajo específico.
JobInnerError	Detalles del error del trabajo Data Lake Analytics.
JobRelationshipProperties	Propiedades de información de relación de trabajo, incluida la información de canalización, la información de correlación, etc.
JobResource	Los recursos de trabajo de Data Lake Analytics.
JobResourceType	el tipo de recurso de trabajo.
JobResult	el resultado de la ejecución del trabajo o el resultado actual del trabajo en ejecución.
JobState	el estado del trabajo. Cuando el trabajo está en estado Finalizado, consulte Result y ErrorMessage para obtener más información.
JobStateAuditRecord	Los registros de auditoría de estado del trabajo Data Lake Analytics para realizar el seguimiento del ciclo de vida de un trabajo.
JobStatistics	Estadísticas de ejecución de trabajos de Data Lake Analytics.
JobStatisticsVertexStage	Información de la fase de vértice de estadísticas de trabajos Data Lake Analytics.
JobType	tipo de trabajo del trabajo actual (Hive o USql).
SeverityTypes	gravedad del error.
USqlJobProperties	Propiedades de trabajo de U-SQL usadas al recuperar trabajos de U-SQL.

CompileMode

el modo de compilación específico para el trabajo usado durante la ejecución. Si no se especifica durante el envío, el servidor determinará el modo de compilación óptimo.

Nombre	Tipo	Description
Full	string
Semantic	string
SingleBox	string

CreateJobParameters

Parámetros usados para enviar un nuevo trabajo de Data Lake Analytics.

Nombre	Tipo	Valor predeterminado	Description
degreeOfParallelism	integer	1	grado de paralelismo utilizado para este trabajo. Se debe especificar como máximo uno de degreeOfParallelism y degreeOfParallelismPercent. Si no es ninguno, se usará un valor predeterminado de 1.
degreeOfParallelismPercent	number		grado de paralelismo en porcentaje utilizado para este trabajo. Se debe especificar como máximo uno de degreeOfParallelism y degreeOfParallelismPercent. Si no es ninguno, se usará un valor predeterminado de 1 para degreeOfParallelism.
logFilePatterns	string[]		la lista de patrones de nombre de archivo de registro que se van a buscar en logFolder. '' es el único carácter coincidente permitido. Formato de ejemplo: jobExecution.log o mylog.txt
name	string		el nombre descriptivo del trabajo que se va a enviar.
priority	integer		valor de prioridad que se va a usar para el trabajo actual. Los números más bajos tienen mayor prioridad. De manera predeterminada, un trabajo tiene una prioridad de 1000. Debe ser mayor que 0.
properties	CreateJobProperties: CreateUSqlJobProperties		las propiedades específicas del trabajo.
related	JobRelationshipProperties		las propiedades de información de relación de trabajo periódicas.
type	JobType		tipo de trabajo del trabajo actual (Hive o USql).

CreateUSqlJobProperties

Propiedades de trabajo de U-SQL usadas al enviar trabajos de U-SQL.

Nombre	Tipo	Description
compileMode	CompileMode	el modo de compilación específico para el trabajo usado durante la ejecución. Si no se especifica durante el envío, el servidor determinará el modo de compilación óptimo.
runtimeVersion	string	la versión en tiempo de ejecución del motor de Data Lake Analytics que se va a usar para el tipo específico de trabajo que se está ejecutando.
script	string	script que se va a ejecutar. Tenga en cuenta que el tamaño máximo del script es de 3 MB.
type	string: USql	el tipo de trabajo del trabajo actual (es decir, USql).

Diagnostics

Información de diagnóstico de errores para trabajos con errores.

Nombre	Tipo	Description
columnNumber	integer	la columna donde se produjo el error.
end	integer	índice final del error.
lineNumber	integer	número de línea en el que se produjo el error.
message	string	El mensaje de error.
severity	SeverityTypes	gravedad del error.
start	integer	índice inicial del error.

HiveJobProperties

Propiedades del trabajo de Hive usadas al recuperar trabajos de Hive.

Nombre	Tipo	Description
executedStatementCount	integer	el número de instrucciones que se han ejecutado en función del script
logsLocation	string	la ubicación de los registros de Hive
outputLocation	string	la ubicación de los archivos de salida del trabajo de Hive (tanto la salida de ejecución como los resultados)
runtimeVersion	string	la versión en tiempo de ejecución del motor de Data Lake Analytics que se va a usar para el tipo específico de trabajo que se está ejecutando.
script	string	script que se va a ejecutar. Tenga en cuenta que el tamaño máximo del script es de 3 MB.
statementCount	integer	el número de instrucciones que se ejecutarán en función del script.
type	string: Hive	el tipo de trabajo del trabajo actual (es decir, Hive o USql).

JobDataPath

Un Data Lake Analytics elemento de ruta de acceso de datos del trabajo.

Nombre	Tipo	Description
command	string	comando al que se relacionan estos datos de trabajo.
jobId	string	el identificador del trabajo para el que son estos datos.
paths	string[]	la lista de rutas de acceso a todos los datos del trabajo.

JobErrorDetails

Detalles del error del trabajo Data Lake Analytics.

Nombre	Tipo	Description
description	string	descripción del mensaje de error
details	string	los detalles del mensaje de error.
endOffset	integer	desplazamiento final en el trabajo donde se encontró el error.
errorId	string	identificador específico del tipo de error encontrado en el trabajo.
filePath	string	la ruta de acceso a cualquier archivo de error complementario, si existe.
helpLink	string	vínculo a MSDN o ayuda de Azure para este tipo de error, si existe.
innerError	JobInnerError	el error interno de este mensaje de error de trabajo específico, si existe.
internalDiagnostics	string	el seguimiento interno de la pila de diagnóstico si el usuario que solicita los detalles del error del trabajo tiene permisos suficientes, de lo contrario, estará vacío.
lineNumber	integer	número de línea específico del trabajo donde se produjo el error.
message	string	mensaje de error descriptivo para el error.
resolution	string	la resolución recomendada para el error, si existe.
severity	SeverityTypes	el nivel de gravedad del error.
source	string	el origen final del error (normalmente SYSTEM o USER).
startOffset	integer	desplazamiento inicial en el trabajo donde se encontró el error

JobInformation

Las propiedades extendidas Data Lake Analytics información del trabajo devueltas al recuperar un trabajo específico.

Nombre	Tipo	Valor predeterminado	Description
degreeOfParallelism	integer	1	grado de paralelismo utilizado para este trabajo.
degreeOfParallelismPercent	number		grado de paralelismo en porcentaje utilizado para este trabajo.
endTime	string		la hora de finalización del trabajo.
errorMessage	JobErrorDetails[]		los detalles del mensaje de error para el trabajo, si se produjo un error en el trabajo.
hierarchyQueueNode	string		el nombre del nodo de cola de jerarquía al que se asigna este trabajo, null si el trabajo aún no se ha asignado o la cuenta no tiene cola de jerarquía.
jobId	string		identificador único del trabajo (un GUID).
logFilePatterns	string[]		la lista de patrones de nombre de archivo de registro que se van a buscar en logFolder. '' es el único carácter coincidente permitido. Formato de ejemplo: jobExecution.log o mylog.txt
logFolder	string		la ruta de acceso de la carpeta de registro que se va a usar en el siguiente formato: adl://.azuredatalakestore.net/system/jobservice/jobs/Usql/2016/03/13/17/18/5fe51957-93bc-4de0-8ddc-c5a4753b068b/logs/.
name	string		el nombre descriptivo del trabajo.
priority	integer		el valor de prioridad del trabajo actual. Los números más bajos tienen mayor prioridad. De manera predeterminada, un trabajo tiene una prioridad de 1000. Debe ser mayor que 0.
properties	JobProperties: HiveJobProperties USqlJobProperties		las propiedades específicas del trabajo.
related	JobRelationshipProperties		las propiedades de información de relación de trabajo periódicas.
result	JobResult		el resultado de la ejecución del trabajo o el resultado actual del trabajo en ejecución.
startTime	string		la hora de inicio del trabajo.
state	JobState		el estado del trabajo. Cuando el trabajo está en estado Finalizado, consulte Result y ErrorMessage para obtener más información.
stateAuditRecords	JobStateAuditRecord[]		los registros de auditoría de estado del trabajo, que indican cuándo se han realizado varias operaciones en este trabajo.
submitTime	string		la hora en que se envió el trabajo al servicio.
submitter	string		el usuario o la cuenta que envió el trabajo.
type	JobType		tipo de trabajo del trabajo actual (Hive o USql).

JobInnerError

Detalles del error del trabajo Data Lake Analytics.

Nombre	Tipo	Description
component	string	componente que produjo un error.
description	string	descripción del mensaje de error
details	string	los detalles del mensaje de error.
diagnosticCode	integer	el código de error de diagnóstico.
errorId	string	identificador específico del tipo de error encontrado en el trabajo.
helpLink	string	vínculo a MSDN o ayuda de Azure para este tipo de error, si existe.
innerError	JobInnerError	el error interno de este mensaje de error de trabajo específico, si existe.
internalDiagnostics	string	el seguimiento interno de la pila de diagnóstico si el usuario que solicita los detalles del error del trabajo tiene permisos suficientes, de lo contrario, estará vacío.
message	string	mensaje de error descriptivo para el error.
resolution	string	la resolución recomendada para el error, si existe.
severity	SeverityTypes	el nivel de gravedad del error.
source	string	el origen final del error (normalmente SYSTEM o USER).

JobRelationshipProperties

Propiedades de información de relación de trabajo, incluida la información de canalización, la información de correlación, etc.

Nombre	Tipo	Description
pipelineId	string	el identificador de canalización de relación de trabajo (un GUID).
pipelineName	string	el nombre descriptivo de la canalización de relación de trabajo, que no necesita ser único.
pipelineUri	string	el URI de canalización, único, vincula al servicio de origen de esta canalización.
recurrenceId	string	el identificador de periodicidad (un GUID), único por actividad o script, independientemente de las iteraciones. Esto es algo para vincular diferentes apariciones del mismo trabajo juntos.
recurrenceName	string	el nombre de periodicidad, nombre descriptivo para la correlación entre trabajos.
runId	string	identificador de ejecución (un GUID), identificador único de la iteración de esta canalización.

JobResource

Los recursos de trabajo de Data Lake Analytics.

Nombre	Tipo	Description
name	string	el nombre del recurso.
resourcePath	string	ruta de acceso al recurso.
type	JobResourceType	el tipo de recurso de trabajo.

JobResourceType

el tipo de recurso de trabajo.

Nombre	Tipo	Description
JobManagerResource	string
JobManagerResourceInUserFolder	string
StatisticsResource	string
StatisticsResourceInUserFolder	string
VertexResource	string
VertexResourceInUserFolder	string

JobResult

el resultado de la ejecución del trabajo o el resultado actual del trabajo en ejecución.

Nombre	Tipo	Description
Cancelled	string
Failed	string
None	string
Succeeded	string

JobState

el estado del trabajo. Cuando el trabajo está en estado Finalizado, consulte Result y ErrorMessage para obtener más información.

Nombre	Tipo	Description
Accepted	string
Compiling	string
Ended	string
New	string
Paused	string
Queued	string
Running	string
Scheduling	string
Starting	string
WaitingForCapacity	string

JobStateAuditRecord

Los registros de auditoría de estado del trabajo Data Lake Analytics para realizar el seguimiento del ciclo de vida de un trabajo.

Nombre	Tipo	Description
details	string	los detalles del registro de auditoría.
newState	string	el nuevo estado en el que se encuentra el trabajo.
requestedByUser	string	el usuario que solicita el cambio.
timeStamp	string	marca de tiempo que tuvo lugar el cambio de estado.

JobStatistics

Estadísticas de ejecución de trabajos de Data Lake Analytics.

Nombre	Tipo	Description
finalizingTimeUtc	string	el trabajo finalizando la hora de inicio.
lastUpdateTimeUtc	string	hora de la última actualización de las estadísticas.
stages	JobStatisticsVertexStage[]	la lista de fases del trabajo.

JobStatisticsVertexStage

Información de la fase de vértice de estadísticas de trabajos Data Lake Analytics.

Nombre	Tipo	Description
dataRead	integer	la cantidad de datos leídos, en bytes.
dataReadCrossPod	integer	la cantidad de datos leídos en varios pods, en bytes.
dataReadIntraPod	integer	la cantidad de datos leídos en un pod, en bytes.
dataToRead	integer	la cantidad de datos restantes que se van a leer, en bytes.
dataWritten	integer	la cantidad de datos escritos, en bytes.
duplicateDiscardCount	integer	el número de duplicados que se descartaron.
failedCount	integer	número de errores que se produjeron en esta fase.
maxVertexDataRead	integer	la cantidad máxima de datos leídos en un solo vértice, en bytes.
minVertexDataRead	integer	la cantidad mínima de datos leídos en un solo vértice, en bytes.
readFailureCount	integer	número de errores de lectura en esta fase.
revocationCount	integer	número de vértices que se revocaron durante esta fase.
runningCount	integer	número de vértices que se están ejecutando actualmente en esta fase.
scheduledCount	integer	el número de vértices programados actualmente en esta fase
stageName	string	el nombre de esta fase en la ejecución del trabajo.
succeededCount	integer	número de vértices que se realizaron correctamente en esta fase.
tempDataWritten	integer	la cantidad de datos temporales escritos, en bytes.
totalCount	integer	recuento total de vértices para esta fase.
totalFailedTime	string	cantidad de tiempo que los vértices con errores tardaron en esta fase.
totalProgress	integer	el progreso actual de esta fase, como porcentaje.
totalSucceededTime	string	la cantidad de tiempo que todos los vértices correctos tomaron en esta fase.

JobType

tipo de trabajo del trabajo actual (Hive o USql).

Nombre	Tipo	Description
Hive	string
USql	string

SeverityTypes

gravedad del error.

Nombre	Tipo	Description
Deprecated	string
Error	string
Info	string
SevereWarning	string
UserWarning	string
Warning	string

USqlJobProperties

Propiedades de trabajo de U-SQL usadas al recuperar trabajos de U-SQL.

Nombre	Tipo	Description
algebraFilePath	string	la ruta de acceso del archivo de álgebra una vez completado el trabajo
compileMode	CompileMode	el modo de compilación específico para el trabajo usado durante la ejecución. Si no se especifica durante el envío, el servidor determinará el modo de compilación óptimo.
debugData	JobDataPath	ubicaciones de datos de depuración específicas del trabajo.
diagnostics	Diagnostics[]	diagnósticos del trabajo.
resources	JobResource[]	la lista de recursos requeridos por el trabajo
rootProcessNodeId	string	el identificador usado para identificar al administrador de trabajos que coordina la ejecución del trabajo. El usuario no debe establecer este valor y se omitirá si es así.
runtimeVersion	string	la versión en tiempo de ejecución del motor de Data Lake Analytics que se va a usar para el tipo específico de trabajo que se está ejecutando.
script	string	script que se va a ejecutar. Tenga en cuenta que el tamaño máximo del script es de 3 MB.
statistics	JobStatistics	estadísticas específicas del trabajo.
totalCompilationTime	string	tiempo total durante el que este trabajo ha dedicado a compilar. El usuario no debe establecer este valor y se omitirá si es así.
totalPauseTime	string	el tiempo total que pasó este trabajo en pausa. El usuario no debe establecer este valor y se omitirá si es así.
totalQueuedTime	string	el tiempo total durante el que se ha puesto en cola este trabajo. El usuario no debe establecer este valor y se omitirá si es así.
totalRunningTime	string	el tiempo total que este trabajo ha dedicado a ejecutar. El usuario no debe establecer este valor y se omitirá si es así.
type	string: USql	el tipo de trabajo del trabajo actual (es decir, Hive o USql).
yarnApplicationId	string	el identificador usado para identificar la aplicación de yarn que ejecuta el trabajo. El usuario no debe establecer este valor y se omitirá si es así.
yarnApplicationTimeStamp	integer	marca de tiempo (en tics) para la aplicación de yarn que ejecuta el trabajo. El usuario no debe establecer este valor y se omitirá si es así.

Share via