Pipeline Runs - Query By Factory

Service:

Data Factory

API Version:

2018-06-01

クエリ パイプラインは、入力フィルター条件に基づいてファクトリで実行されます。

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/queryPipelineRuns?api-version=2018-06-01

URI パラメーター

名前	/	必須	型	説明
factoryName	path	True	string	ファクトリ名。 Regex pattern: ^[A-Za-z0-9]+(?:-[A-Za-z0-9]+)*$
resourceGroupName	path	True	string	リソース グループ名。 Regex pattern: ^[-\w\._\(\)]+$
subscriptionId	path	True	string	サブスクリプションの識別子です。
api-version	query	True	string	API のバージョン。

要求本文

名前	必須	型	説明
lastUpdatedAfter	True	string	実行イベントが 'ISO 8601' 形式で更新された日時以降。
lastUpdatedBefore	True	string	実行イベントが 'ISO 8601' 形式で更新された日時またはそれ以前の時刻。
continuationToken		string	結果の次のページを取得するための継続トークン。 最初のページの場合は Null。
filters		RunQueryFilter[]	フィルターの一覧。
orderBy		RunQueryOrderBy[]	OrderBy オプションの一覧。

応答

名前	型	説明
200 OK	PipelineRunsQueryResponse	OK です。
Other Status Codes	CloudError	Azure Data Factory サービスから受信したエラー応答。

セキュリティ

azure_auth

Azure Active Directory OAuth2 フロー。

Type: oauth2
Flow: implicit
Authorization URL: https://login.microsoftonline.com/common/oauth2/authorize

Scopes

名前	説明
user_impersonation	ユーザー アカウントの借用

例

PipelineRuns_QueryByFactory

Sample Request

HTTP

POST https://management.azure.com/subscriptions/12345678-1234-1234-1234-12345678abc/resourceGroups/exampleResourceGroup/providers/Microsoft.DataFactory/factories/exampleFactoryName/queryPipelineRuns?api-version=2018-06-01

{
  "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
  "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
  "filters": [
    {
      "operand": "PipelineName",
      "operator": "Equals",
      "values": [
        "examplePipeline"
      ]
    }
  ]
}

Java

import com.azure.resourcemanager.datafactory.models.RunFilterParameters;
import com.azure.resourcemanager.datafactory.models.RunQueryFilter;
import com.azure.resourcemanager.datafactory.models.RunQueryFilterOperand;
import com.azure.resourcemanager.datafactory.models.RunQueryFilterOperator;
import java.time.OffsetDateTime;
import java.util.Arrays;

/**
 * Samples for PipelineRuns QueryByFactory.
 */
public final class Main {
    /*
     * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/
     * PipelineRuns_QueryByFactory.json
     */
    /**
     * Sample code: PipelineRuns_QueryByFactory.
     * 
     * @param manager Entry point to DataFactoryManager.
     */
    public static void pipelineRunsQueryByFactory(com.azure.resourcemanager.datafactory.DataFactoryManager manager) {
        manager.pipelineRuns().queryByFactoryWithResponse("exampleResourceGroup", "exampleFactoryName",
            new RunFilterParameters().withLastUpdatedAfter(OffsetDateTime.parse("2018-06-16T00:36:44.3345758Z"))
                .withLastUpdatedBefore(OffsetDateTime.parse("2018-06-16T00:49:48.3686473Z"))
                .withFilters(Arrays.asList(new RunQueryFilter().withOperand(RunQueryFilterOperand.PIPELINE_NAME)
                    .withOperator(RunQueryFilterOperator.EQUALS).withValues(Arrays.asList("examplePipeline")))),
            com.azure.core.util.Context.NONE);
    }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

Python

from typing import Any, IO, Union

from azure.identity import DefaultAzureCredential

from azure.mgmt.datafactory import DataFactoryManagementClient

"""
# PREREQUISITES
    pip install azure-identity
    pip install azure-mgmt-datafactory
# USAGE
    python pipeline_runs_query_by_factory.py

    Before run the sample, please set the values of the client ID, tenant ID and client secret
    of the AAD application as environment variables: AZURE_CLIENT_ID, AZURE_TENANT_ID,
    AZURE_CLIENT_SECRET. For more info about how to get the value, please see:
    https://docs.microsoft.com/azure/active-directory/develop/howto-create-service-principal-portal
"""


def main():
    client = DataFactoryManagementClient(
        credential=DefaultAzureCredential(),
        subscription_id="12345678-1234-1234-1234-12345678abc",
    )

    response = client.pipeline_runs.query_by_factory(
        resource_group_name="exampleResourceGroup",
        factory_name="exampleFactoryName",
        filter_parameters={
            "filters": [{"operand": "PipelineName", "operator": "Equals", "values": ["examplePipeline"]}],
            "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
            "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
        },
    )
    print(response)


# x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
if __name__ == "__main__":
    main()

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

Go

package armdatafactory_test

import (
	"context"
	"log"

	"time"

	"github.com/Azure/azure-sdk-for-go/sdk/azcore/to"
	"github.com/Azure/azure-sdk-for-go/sdk/azidentity"
	"github.com/Azure/azure-sdk-for-go/sdk/resourcemanager/datafactory/armdatafactory/v7"
)

// Generated from example definition: https://github.com/Azure/azure-rest-api-specs/blob/92de53a5f1e0e03c94b40475d2135d97148ed014/specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
func ExamplePipelineRunsClient_QueryByFactory() {
	cred, err := azidentity.NewDefaultAzureCredential(nil)
	if err != nil {
		log.Fatalf("failed to obtain a credential: %v", err)
	}
	ctx := context.Background()
	clientFactory, err := armdatafactory.NewClientFactory("<subscription-id>", cred, nil)
	if err != nil {
		log.Fatalf("failed to create client: %v", err)
	}
	res, err := clientFactory.NewPipelineRunsClient().QueryByFactory(ctx, "exampleResourceGroup", "exampleFactoryName", armdatafactory.RunFilterParameters{
		Filters: []*armdatafactory.RunQueryFilter{
			{
				Operand:  to.Ptr(armdatafactory.RunQueryFilterOperandPipelineName),
				Operator: to.Ptr(armdatafactory.RunQueryFilterOperatorEquals),
				Values: []*string{
					to.Ptr("examplePipeline")},
			}},
		LastUpdatedAfter:  to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:36:44.334Z"); return t }()),
		LastUpdatedBefore: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:49:48.368Z"); return t }()),
	}, nil)
	if err != nil {
		log.Fatalf("failed to finish the request: %v", err)
	}
	// You could use response here. We use blank identifier for just demo purposes.
	_ = res
	// If the HTTP response code is 200 as defined in example definition, your response structure would look as follows. Please pay attention that all the values in the output are fake values for just demo purposes.
	// res.PipelineRunsQueryResponse = armdatafactory.PipelineRunsQueryResponse{
	// 	Value: []*armdatafactory.PipelineRun{
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"annotations": []any{
	// 				},
	// 				"runDimension": map[string]any{
	// 					"JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3",
	// 				},
	// 			},
	// 			DurationInMs: to.Ptr[int32](28105),
	// 			InvokedBy: &armdatafactory.PipelineRunInvokedBy{
	// 				Name: to.Ptr("Manual"),
	// 				ID: to.Ptr("80a01654a9d34ad18b3fcac5d5d76b67"),
	// 			},
	// 			LastUpdated: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:12.731Z"); return t}()),
	// 			Message: to.Ptr(""),
	// 			Parameters: map[string]*string{
	// 				"OutputBlobNameList": to.Ptr("[\"exampleoutput.csv\"]"),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			RunEnd: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:12.731Z"); return t}()),
	// 			RunID: to.Ptr("2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"),
	// 			RunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:37:44.625Z"); return t}()),
	// 			Status: to.Ptr("Succeeded"),
	// 		},
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"annotations": []any{
	// 				},
	// 				"runDimension": map[string]any{
	// 					"JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab",
	// 				},
	// 			},
	// 			InvokedBy: &armdatafactory.PipelineRunInvokedBy{
	// 				Name: to.Ptr("Manual"),
	// 				ID: to.Ptr("7c5fd7ef7e8a464b98b931cf15fcac66"),
	// 			},
	// 			LastUpdated: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:39:51.216Z"); return t}()),
	// 			Message: to.Ptr(""),
	// 			Parameters: map[string]*string{
	// 				"OutputBlobNameList": to.Ptr("[\"exampleoutput.csv\"]"),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			RunID: to.Ptr("16ac5348-ff82-4f95-a80d-638c1d47b721"),
	// 			RunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:39:49.274Z"); return t}()),
	// 			Status: to.Ptr("Cancelled"),
	// 	}},
	// }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

JavaScript

const { DataFactoryManagementClient } = require("@azure/arm-datafactory");
const { DefaultAzureCredential } = require("@azure/identity");

/**
 * This sample demonstrates how to Query pipeline runs in the factory based on input filter conditions.
 *
 * @summary Query pipeline runs in the factory based on input filter conditions.
 * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
 */
async function pipelineRunsQueryByFactory() {
  const subscriptionId =
    process.env["DATAFACTORY_SUBSCRIPTION_ID"] || "12345678-1234-1234-1234-12345678abc";
  const resourceGroupName = process.env["DATAFACTORY_RESOURCE_GROUP"] || "exampleResourceGroup";
  const factoryName = "exampleFactoryName";
  const filterParameters = {
    filters: [
      {
        operand: "PipelineName",
        operator: "Equals",
        values: ["examplePipeline"],
      },
    ],
    lastUpdatedAfter: new Date("2018-06-16T00:36:44.3345758Z"),
    lastUpdatedBefore: new Date("2018-06-16T00:49:48.3686473Z"),
  };
  const credential = new DefaultAzureCredential();
  const client = new DataFactoryManagementClient(credential, subscriptionId);
  const result = await client.pipelineRuns.queryByFactory(
    resourceGroupName,
    factoryName,
    filterParameters,
  );
  console.log(result);
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

dotnet

using System;
using System.Collections.Generic;
using System.Threading.Tasks;
using Azure;
using Azure.Core;
using Azure.Core.Expressions.DataFactory;
using Azure.Identity;
using Azure.ResourceManager;
using Azure.ResourceManager.DataFactory;
using Azure.ResourceManager.DataFactory.Models;
using Azure.ResourceManager.Resources;

// Generated from example definition: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/PipelineRuns_QueryByFactory.json
// this example is just showing the usage of "PipelineRuns_QueryByFactory" operation, for the dependent resources, they will have to be created separately.

// get your azure access token, for more details of how Azure SDK get your access token, please refer to https://learn.microsoft.com/en-us/dotnet/azure/sdk/authentication?tabs=command-line
TokenCredential cred = new DefaultAzureCredential();
// authenticate your client
ArmClient client = new ArmClient(cred);

// this example assumes you already have this DataFactoryResource created on azure
// for more information of creating DataFactoryResource, please refer to the document of DataFactoryResource
string subscriptionId = "12345678-1234-1234-1234-12345678abc";
string resourceGroupName = "exampleResourceGroup";
string factoryName = "exampleFactoryName";
ResourceIdentifier dataFactoryResourceId = DataFactoryResource.CreateResourceIdentifier(subscriptionId, resourceGroupName, factoryName);
DataFactoryResource dataFactory = client.GetDataFactoryResource(dataFactoryResourceId);

// invoke the operation and iterate over the result
RunFilterContent content = new RunFilterContent(DateTimeOffset.Parse("2018-06-16T00:36:44.3345758Z"), DateTimeOffset.Parse("2018-06-16T00:49:48.3686473Z"))
{
    Filters =
    {
    new RunQueryFilter(RunQueryFilterOperand.PipelineName,RunQueryFilterOperator.EqualsValue,new string[]
    {
    "examplePipeline"
    })
    },
};
await foreach (DataFactoryPipelineRunInfo item in dataFactory.GetPipelineRunsAsync(content))
{
    Console.WriteLine($"Succeeded: {item}");
}

Console.WriteLine($"Succeeded");

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

CLI

az datafactory pipeline-run query-by-factory --factory-name "exampleFactoryName" --filters operand="PipelineName" operator="Equals" values="examplePipeline" --last-updated-after "2018-06-16T00:36:44.3345758Z" --last-updated-before "2018-06-16T00:49:48.3686473Z" --resource-group "exampleResourceGroup"

Click here to learn more about the Azure CLI command.

Sample Response

Status code:

200

Date: Sat, 16 Jun 2018 00:40:01 GMT
X-Content-Type-Options: nosniff
x-ms-ratelimit-remaining-subscription-reads: 14989
x-ms-request-id: 2f955e10-c6df-45a7-97d4-81acdb8540cd
x-ms-correlation-request-id: 2f955e10-c6df-45a7-97d4-81acdb8540cd

Response Body

{
  "value": [
    {
      "runId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "80a01654a9d34ad18b3fcac5d5d76b67",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:37:44.6257014Z",
      "runEnd": "2018-06-16T00:38:12.7314495Z",
      "durationInMs": 28105,
      "status": "Succeeded",
      "message": "",
      "lastUpdated": "2018-06-16T00:38:12.7314495Z",
      "annotations": [],
      "runDimension": {
        "JobId": "79c1cc52-265f-41a5-9553-be65e736fbd3"
      }
    },
    {
      "runId": "16ac5348-ff82-4f95-a80d-638c1d47b721",
      "pipelineName": "examplePipeline",
      "parameters": {
        "OutputBlobNameList": "[\"exampleoutput.csv\"]"
      },
      "invokedBy": {
        "id": "7c5fd7ef7e8a464b98b931cf15fcac66",
        "name": "Manual"
      },
      "runStart": "2018-06-16T00:39:49.2745128Z",
      "runEnd": null,
      "durationInMs": null,
      "status": "Cancelled",
      "message": "",
      "lastUpdated": "2018-06-16T00:39:51.216097Z",
      "annotations": [],
      "runDimension": {
        "JobId": "84a3c493-0628-4b44-852f-ef5b3a11bdab"
      }
    }
  ]
}

定義

名前	説明
CloudError	Azure Data Factoryエラー応答の構造を定義する オブジェクト。
PipelineRun	パイプラインの実行に関する情報。
PipelineRunInvokedBy	パイプラインの実行を開始したエンティティ名と ID を提供します。
PipelineRunsQueryResponse	リスト パイプラインが実行されます。
RunFilterParameters	実行を一覧表示するためのクエリ パラメーター。
RunQueryFilter	実行を一覧表示するためのクエリ フィルター オプション。
RunQueryFilterOperand	フィルターに使用するパラメーター名。 パイプラインの実行のクエリに使用できるオペランドは、PipelineName、RunStart、RunEnd、Status です。クエリ アクティビティの実行には ActivityName、ActivityRunStart、ActivityRunEnd、ActivityType、Status があり、クエリ トリガーの実行には TriggerName、TriggerRunTimestamp、Status があります。
RunQueryFilterOperator	フィルターに使用する演算子。
RunQueryOrder	パラメーターの並べ替え順序。
RunQueryOrderBy	実行を一覧表示するためのオプション別の順序を提供する オブジェクト。
RunQueryOrderByField	順序付けに使用するパラメーター名。 パイプラインの実行に対して並べ替え可能なパラメーターは、PipelineName、RunStart、RunEnd、および Status です。アクティビティの実行は、ActivityName、ActivityRunStart、ActivityRunEnd、Status です。トリガーの実行は、TriggerName、TriggerRunTimestamp、および Status です。

CloudError

Azure Data Factoryエラー応答の構造を定義する オブジェクト。

名前	型	説明
error.code	string	エラー コード。
error.details	CloudError[]	追加のエラーの詳細を含む配列。
error.message	string	エラー メッセージ。
error.target	string	エラーに関連付けられている要求のプロパティ名/パス。

PipelineRun

パイプラインの実行に関する情報。

名前	型	説明
durationInMs	integer	パイプラインの実行期間。
invokedBy	PipelineRunInvokedBy	パイプラインの実行を開始したエンティティ。
isLatest	boolean	回復されたパイプラインの実行が、そのグループの最新であるかどうかを示します。
lastUpdated	string	パイプライン実行イベントの最後に更新されたタイムスタンプ (ISO8601形式)。
message	string	パイプライン実行からのメッセージ。
parameters	object	パイプラインの実行で使用されるパラメーター名、値ペアの完全または部分的なリスト。
pipelineName	string	パイプライン名。
runDimensions	object	パイプライン実行によって出力されるディメンションを実行します。
runEnd	string	パイプライン実行の終了時刻をISO8601形式で指定します。
runGroupId	string	パイプライン実行のすべての復旧実行を関連付ける識別子。
runId	string	実行の識別子。
runStart	string	パイプラインの開始時刻は、ISO8601形式で実行されます。
status	string	パイプライン実行の状態。 使用できる値: Queued、InProgress、Succeeded、Failed、Canceling、Canceled

PipelineRunInvokedBy

パイプラインの実行を開始したエンティティ名と ID を提供します。

名前	型	説明
id	string	実行を開始したエンティティの ID。
invokedByType	string	実行を開始したエンティティの型。
name	string	パイプラインの実行を開始したエンティティの名前。
pipelineName	string	実行をトリガーしたパイプラインの名前 (存在する場合)。
pipelineRunId	string	実行をトリガーしたパイプラインの実行 ID (存在する場合)。

PipelineRunsQueryResponse

リスト パイプラインが実行されます。

名前	型	説明
continuationToken	string	残りの結果が存在する場合は、結果の次のページを取得するための継続トークン。それ以外の場合は null。
value	PipelineRun[]	パイプラインの実行の一覧。

RunFilterParameters

実行を一覧表示するためのクエリ パラメーター。

名前	型	説明
continuationToken	string	結果の次のページを取得するための継続トークン。 最初のページの場合は Null。
filters	RunQueryFilter[]	フィルターの一覧。
lastUpdatedAfter	string	実行イベントが 'ISO 8601' 形式で更新された日時以降。
lastUpdatedBefore	string	実行イベントが 'ISO 8601' 形式で更新された日時またはそれ以前の時刻。
orderBy	RunQueryOrderBy[]	OrderBy オプションの一覧。

RunQueryFilter

実行を一覧表示するためのクエリ フィルター オプション。

名前	型	説明
operand	RunQueryFilterOperand	フィルターに使用するパラメーター名。 パイプラインの実行のクエリに使用できるオペランドは、PipelineName、RunStart、RunEnd、Status です。クエリ アクティビティの実行には ActivityName、ActivityRunStart、ActivityRunEnd、ActivityType、Status があり、クエリ トリガーの実行には TriggerName、TriggerRunTimestamp、Status があります。
operator	RunQueryFilterOperator	フィルターに使用する演算子。
values	string[]	フィルター値の一覧。

RunQueryFilterOperand

フィルターに使用するパラメーター名。 パイプラインの実行のクエリに使用できるオペランドは、PipelineName、RunStart、RunEnd、Status です。クエリ アクティビティの実行には ActivityName、ActivityRunStart、ActivityRunEnd、ActivityType、Status があり、クエリ トリガーの実行には TriggerName、TriggerRunTimestamp、Status があります。

名前	型	説明
ActivityName	string
ActivityRunEnd	string
ActivityRunStart	string
ActivityType	string
LatestOnly	string
PipelineName	string
RunEnd	string
RunGroupId	string
RunStart	string
Status	string
TriggerName	string
TriggerRunTimestamp	string

RunQueryFilterOperator

フィルターに使用する演算子。

名前	型	説明
Equals	string
In	string
NotEquals	string
NotIn	string

RunQueryOrder

パラメーターの並べ替え順序。

名前	型	説明
ASC	string
DESC	string

RunQueryOrderBy

実行を一覧表示するためのオプション別の順序を提供する オブジェクト。

名前	型	説明
order	RunQueryOrder	パラメーターの並べ替え順序。
orderBy	RunQueryOrderByField	順序付けに使用するパラメーター名。 パイプラインの実行に対して並べ替え可能なパラメーターは、PipelineName、RunStart、RunEnd、および Status です。アクティビティの実行は、ActivityName、ActivityRunStart、ActivityRunEnd、Status です。トリガーの実行は、TriggerName、TriggerRunTimestamp、および Status です。

RunQueryOrderByField

順序付けに使用するパラメーター名。 パイプラインの実行に対して並べ替え可能なパラメーターは、PipelineName、RunStart、RunEnd、および Status です。アクティビティの実行は、ActivityName、ActivityRunStart、ActivityRunEnd、Status です。トリガーの実行は、TriggerName、TriggerRunTimestamp、および Status です。

名前	型	説明
ActivityName	string
ActivityRunEnd	string
ActivityRunStart	string
PipelineName	string
RunEnd	string
RunStart	string
Status	string
TriggerName	string
TriggerRunTimestamp	string