Início rápido: Criar um Azure Data Factory usando o PowerShellQuickstart: Create an Azure Data Factory using PowerShell

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este guia de início rápido descreve como usar o PowerShell para criar um Azure Data Factory.This quickstart describes how to use PowerShell to create an Azure Data Factory. O pipeline que você criar nesse data factory copia dados de uma pasta para outra em um Armazenamento de Blobs do Azure.The pipeline you create in this data factory copies data from one folder to another folder in an Azure blob storage. Para obter um tutorial sobre como transformar dados usando o Azure Data Factory, confira Tutorial: Transformar dados usando o Spark.For a tutorial on how to transform data using Azure Data Factory, see Tutorial: Transform data using Spark.

Observação

Este artigo não fornece uma introdução detalhada do serviço Data Factory.This article does not provide a detailed introduction of the Data Factory service. Para obter uma introdução do serviço do Azure Data Factory, consulte Introdução ao Azure Data Factory.For an introduction to the Azure Data Factory service, see Introduction to Azure Data Factory.

Pré-requisitosPrerequisites

Assinatura do AzureAzure subscription

Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.If you don't have an Azure subscription, create a free account before you begin.

Funções do AzureAzure roles

Para criar instâncias de Data Factory, a conta de usuário usada para entrar no Azure deve ser um membro das funções colaborador ou proprietário, ou um administrador da assinatura do Azure.To create Data Factory instances, the user account that you use to sign in to Azure must be a member of the contributor or owner role, or an administrator of the Azure subscription. Para exibir as permissões que você tem na assinatura, acesse o portal do Azure, selecione seu nome de usuário no canto superior direito e selecione o ícone “ ... ” para obter mais opções; em seguida, selecione Minhas permissões.To view the permissions that you have in the subscription, go to the Azure portal, select your username in the upper-right corner, select "..." icon for more options, and then select My permissions. Se tiver acesso a várias assinaturas, selecione a que for adequada.If you have access to multiple subscriptions, select the appropriate subscription.

Para criar e gerenciar recursos filho para o Data Factory – incluindo conjuntos de dados, serviços vinculados, pipelines, gatilhos e runtimes de integração –, os requisitos a seguir são aplicáveis:To create and manage child resources for Data Factory - including datasets, linked services, pipelines, triggers, and integration runtimes - the following requirements are applicable:

  • Para criar e gerenciar recursos filho no portal do Azure, você precisa pertencer à função Colaborador do Data Factory no nível do grupo de recursos ou superior.To create and manage child resources in the Azure portal, you must belong to the Data Factory Contributor role at the resource group level or above.
  • Para criar e gerenciar recursos filho com o PowerShell ou o SDK, a função de colaborador no nível do recurso ou superior é suficiente.To create and manage child resources with PowerShell or the SDK, the contributor role at the resource level or above is sufficient.

Para obter instruções de exemplo sobre como adicionar um usuário a uma função, confira o artigo Adicionar funções.For sample instructions about how to add a user to a role, see the Add roles article.

Para obter mais informações, confira os seguintes artigos:For more info, see the following articles:

Conta de Armazenamento do AzureAzure Storage account

Use uma conta de Armazenamento do Azure de uso geral (especificamente o Armazenamento de Blobs) como armazenamentos de dados de origem e destino neste início rápido.You use a general-purpose Azure Storage account (specifically Blob storage) as both source and destination data stores in this quickstart. Se você não tiver uma conta de Armazenamento do Azure de uso geral, confira Criar uma conta de armazenamento para criar uma.If you don't have a general-purpose Azure Storage account, see Create a storage account to create one.

Obter o nome da conta de armazenamentoGet the storage account name

Você precisará do nome da sua conta de Armazenamento do Azure para este início rápido.You need the name of your Azure Storage account for this quickstart. O procedimento a seguir fornece as etapas para obter o nome da sua conta de armazenamento:The following procedure provides steps to get the name of your storage account:

  1. Em um navegador da Web, vá para o portal do Azure e entre usando seu nome de usuário e senha do Azure.In a web browser, go to the Azure portal and sign in using your Azure username and password.
  2. No menu do portal do Azure, selecione Todos os serviços, em seguida, selecione Armazenamento > Contas de armazenamento.From the Azure portal menu, select All services, then select Storage > Storage accounts. Você também pode pesquisar e selecionar Contas de armazenamento de qualquer página.You can also search for and select Storage accounts from any page.
  3. Na página Contas de armazenamento, filtre pela sua conta de armazenamento (se necessário) e selecione a sua conta de armazenamento.In the Storage accounts page, filter for your storage account (if needed), and then select your storage account.

Você também pode pesquisar e selecionar Contas de armazenamento de qualquer página.You can also search for and select Storage accounts from any page.

Criar um contêiner de blobCreate a blob container

Nesta seção, você cria um contêiner de blobs chamado adftutorial no armazenamento de Blobs do Azure.In this section, you create a blob container named adftutorial in Azure Blob storage.

  1. Na página da conta de armazenamento, selecione Visão geral > Contêineres.From the storage account page, select Overview > Containers.

  2. Na barra de ferramentas da página de <Account name> - Contêineres, selecione Contêiner.On the <Account name> - Containers page's toolbar, select Container.

  3. Na caixa de diálogo Novo contêiner, insira adftutorial como o nome e selecione OK.In the New container dialog box, enter adftutorial for the name, and then select OK. A página de <Account name> - Contêineres está atualizada para incluir o adftutorial na lista de contêineres.The <Account name> - Containers page is updated to include adftutorial in the list of containers.

    Lista de contêineres

Adicionar uma pasta de entrada e um arquivo ao contêiner de blobAdd an input folder and file for the blob container

Nesta seção, você pode adicionar uma pasta chamada entrada ao contêiner que acabou de criar e, em seguida, carregar um arquivo de exemplo na pasta de entrada.In this section, you create a folder named input in the container you created, and then upload a sample file to the input folder. Antes de começar, abra um editor de texto como o Bloco de Notas e crie um arquivo chamado emp.txt com o seguinte conteúdo:Before you begin, open a text editor such as Notepad, and create a file named emp.txt with the following content:

John, Doe
Jane, Doe

Salve o arquivo na pasta C:\ADFv2QuickStartPSH.Save the file in the C:\ADFv2QuickStartPSH folder. (Se a pasta ainda não existir, crie-a.) Então volte ao portal do Azure e siga estas etapas:(If the folder doesn't already exist, create it.) Then return to the Azure portal and follow these steps:

  1. Na página de <Account name> - Contêineres em que você parou, selecione o adftutorial da lista de contêineres atualizada.In the <Account name> - Containers page where you left off, select adftutorial from the updated list of containers.

    1. Se você fechou a janela ou foi para outra página, entre no portal do Azure novamente.If you closed the window or went to another page, sign in to the Azure portal again.
    2. No menu do portal do Azure, selecione Todos os serviços, em seguida, selecione Armazenamento > Contas de armazenamento.From the Azure portal menu, select All services, then select Storage > Storage accounts. Você também pode pesquisar e selecionar Contas de armazenamento de qualquer página.You can also search for and select Storage accounts from any page.
    3. Selecione a sua conta de armazenamento e, em seguida, Contêineres > adftutorial.Select your storage account, and then select Containers > adftutorial.
  2. Na barra de ferramentas da página de contêiner do adftutorial, selecione Carregar.On the adftutorial container page's toolbar, select Upload.

  3. Na página Carregar blob, selecione a caixa Arquivos e, em seguida, navegue até o arquivo emp.txt e selecione-o.In the Upload blob page, select the Files box, and then browse to and select the emp.txt file.

  4. Expanda o título Avançado.Expand the Advanced heading. A página agora será exibida como mostrado:The page now displays as shown:

    Selecione o link Avançado

  5. Na caixa Carregar para a pasta, insira entrada.In the Upload to folder box, enter input.

  6. Selecione o botão Carregar.Select the Upload button. O arquivo emp.txt e o status do carregamento devem estar na lista.You should see the emp.txt file and the status of the upload in the list.

  7. Selecione o ícone Fechar (um X) para fechar a página Carregar blob.Select the Close icon (an X) to close the Upload blob page.

Mantenha a página do contêiner adftutorial aberta.Keep the adftutorial container page open. Você a usa para verificar a saída no final do guia de início rápido.You use it to verify the output at the end of this quickstart.

Azure PowerShellAzure PowerShell

Observação

Este artigo foi atualizado para usar o módulo Az PowerShell do Azure.This article has been updated to use the Azure Az PowerShell module. O módulo Az PowerShell é o módulo do PowerShell recomendado para interagir com o Azure.The Az PowerShell module is the recommended PowerShell module for interacting with Azure. Para começar a usar o módulo do Az PowerShell, confira Instalar o Azure PowerShell.To get started with the Az PowerShell module, see Install Azure PowerShell. Para saber como migrar para o módulo Az PowerShell, confira Migrar o Azure PowerShell do AzureRM para o Az.To learn how to migrate to the Az PowerShell module, see Migrate Azure PowerShell from AzureRM to Az.

Instale os módulos mais recentes do Azure PowerShell seguindo as instruções em Como instalar e configurar o Azure PowerShell.Install the latest Azure PowerShell modules by following instructions in How to install and configure Azure PowerShell.

Fazer logon no PowerShellLog in to PowerShell

  1. Iniciar o PowerShell no seu computador.Launch PowerShell on your machine. Mantenha o PowerShell aberto até o fim deste guia de início rápido.Keep PowerShell open until the end of this quickstart. Se você fechá-la e reabri-la, precisará executar esses comandos novamente.If you close and reopen, you need to run these commands again.

  2. Execute o comando a seguir e insira o mesmo nome de usuário e senha do Azure que você usa para entrar no Portal do Azure:Run the following command, and enter the same Azure user name and password that you use to sign in to the Azure portal:

    Connect-AzAccount
    
  3. Execute o comando abaixo para exibir todas as assinaturas dessa conta:Run the following command to view all the subscriptions for this account:

    Get-AzSubscription
    
  4. Se você vir várias assinaturas associadas à sua conta, execute o seguinte comando para selecionar a assinatura com que deseja trabalhar.If you see multiple subscriptions associated with your account, run the following command to select the subscription that you want to work with. Substitua SubscriptionId pela ID da assinatura do Azure:Replace SubscriptionId with the ID of your Azure subscription:

    Select-AzSubscription -SubscriptionId "<SubscriptionId>"
    

Criar uma data factoryCreate a data factory

  1. Defina uma variável para o nome do grupo de recursos que você usa nos comandos do PowerShell posteriormente.Define a variable for the resource group name that you use in PowerShell commands later. Copie o seguinte texto de comando para o PowerShell, especifique um nome para o grupo de recursos do Azure entre aspas duplas e, em seguida, execute o comando.Copy the following command text to PowerShell, specify a name for the Azure resource group in double quotes, and then run the command. Por exemplo: "ADFQuickStartRG".For example: "ADFQuickStartRG".

    $resourceGroupName = "ADFQuickStartRG";
    

    Se o grupo de recursos já existir, não convém substituí-lo.If the resource group already exists, you may not want to overwrite it. Atribua um valor diferente para a variável $ResourceGroupName e execute o comando novamenteAssign a different value to the $ResourceGroupName variable and run the command again

  2. Para criar o grupo de recursos do Azure, execute o seguinte comando:To create the Azure resource group, run the following command:

    $ResGrp = New-AzResourceGroup $resourceGroupName -location 'East US'
    

    Se o grupo de recursos já existir, não convém substituí-lo.If the resource group already exists, you may not want to overwrite it. Atribua um valor diferente para a variável $ResourceGroupName e execute o comando novamente.Assign a different value to the $ResourceGroupName variable and run the command again.

  3. Defina uma variável para o nome do data factory.Define a variable for the data factory name.

    Importante

    Atualize o Nome do data factory para ser globalmente exclusivo.Update the data factory name to be globally unique. Por exemplo, ADFTutorialFactorySP1127.For example, ADFTutorialFactorySP1127.

    $dataFactoryName = "ADFQuickStartFactory";
    
  4. Para criar o data factory, execute o cmdlet Set-AzDataFactoryV2 a seguir usando a propriedade Location e ResourceGroupName da variável $ResGrp:To create the data factory, run the following Set-AzDataFactoryV2 cmdlet, using the Location and ResourceGroupName property from the $ResGrp variable:

    $DataFactory = Set-AzDataFactoryV2 -ResourceGroupName $ResGrp.ResourceGroupName `
        -Location $ResGrp.Location -Name $dataFactoryName
    

Observe os seguintes pontos:Note the following points:

  • O nome do Azure Data Factory deve ser globalmente exclusivo.The name of the Azure Data Factory must be globally unique. Se você receber o erro a seguir, altere o nome e tente novamente.If you receive the following error, change the name and try again.

    The specified Data Factory name 'ADFv2QuickStartDataFactory' is already in use. Data Factory names must be globally unique.
    
  • Para criar instâncias de Data Factory, a conta de usuário usada para fazer logon no Azure deve ser um membro das funções colaborador ou proprietário, ou um administrador da assinatura do Azure.To create Data Factory instances, the user account you use to log in to Azure must be a member of contributor or owner roles, or an administrator of the Azure subscription.

  • Para obter uma lista de regiões do Azure no qual o Data Factory está disponível no momento, selecione as regiões que relevantes para você na página a seguir e, em seguida, expanda Análise para localizar Data Factory: Produtos disponíveis por região.For a list of Azure regions in which Data Factory is currently available, select the regions that interest you on the following page, and then expand Analytics to locate Data Factory: Products available by region. Os armazenamentos de dados (Armazenamento do Azure, Banco de Dados SQL do Azure, etc.) e serviços de computação (HDInsight, etc.) usados pelo data factory podem estar em outras regiões.The data stores (Azure Storage, Azure SQL Database, etc.) and computes (HDInsight, etc.) used by data factory can be in other regions.

Criar um serviço vinculadoCreate a linked service

Crie serviços vinculados em um data factory para vincular seus armazenamentos de dados e serviços de computação ao data factory.Create linked services in a data factory to link your data stores and compute services to the data factory. Neste guia de início rápido, você cria um serviço vinculado do Armazenamento do Azure que é usado como armazenamento de origem e do coletor.In this quickstart, you create an Azure Storage linked service that is used as both the source and sink stores. O serviço vinculado tem as informações de conexão que o serviço do Data Factory usa no runtime para se conectar a ele.The linked service has the connection information that the Data Factory service uses at runtime to connect to it.

Dica

Neste início rápido, você usa a Chave de conta como o tipo de autenticação para o armazenamento de dados, mas você pode escolher outros métodos de autenticação compatíveis: URI de SAS, Entidade de Serviço e Identidade Gerenciada se necessário.In this quickstart, you use Account key as the authentication type for your data store, but you can choose other supported authentication methods: SAS URI,Service Principal and Managed Identity if needed. Veja as seções correspondentes neste artigo para obter detalhes.Refer to corresponding sections in this article for details. Para armazenar segredos de armazenamentos de dados com segurança, também é recomendável usar um Azure Key Vault.To store secrets for data stores securely, it's also recommended to use an Azure Key Vault. Veja este artigo para obter ilustrações detalhadas.Refer to this article for detailed illustrations.

  1. Crie um arquivo JSON chamado AzureStorageLinkedService.json na pasta C:\ADFv2QuickStartPSH com o seguinte conteúdo: (Crie a pasta ADFv2QuickStartPSH se ela ainda não existir.).Create a JSON file named AzureStorageLinkedService.json in C:\ADFv2QuickStartPSH folder with the following content: (Create the folder ADFv2QuickStartPSH if it does not already exist.).

    Importante

    Antes de salvar o arquivo, substitua <accountName> e <accountKey> pelo nome e pela chave da sua conta de armazenamento do Azure, respectivamente.Replace <accountName> and <accountKey> with name and key of your Azure storage account before saving the file.

    {
        "name": "AzureStorageLinkedService",
        "properties": {
            "annotations": [],
            "type": "AzureBlobStorage",
            "typeProperties": {
                "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net"
            }
        }
    }
    

    Se você estiver usando o Bloco de Notas, selecione Todos os arquivos para o Salvar como tipo preenchido na caixa de diálogo Salvar como.If you are using Notepad, select All files for the Save as type filed in the Save as dialog box. Caso contrário, ele pode adicionar a extensão .txt para o arquivo.Otherwise, it may add .txt extension to the file. Por exemplo, AzureStorageLinkedService.json.txt.For example, AzureStorageLinkedService.json.txt. Se você criar o arquivo no Explorador de arquivos antes de abri-lo no Bloco de Notas, você não poderá ver a extensão .txt, já que a opção Ocultar extensões de tipos de arquivos conhecidos será definida por padrão.If you create the file in File Explorer before opening it in Notepad, you may not see the .txt extension since the Hide extensions for known files types option is set by default. Remova a extensão .txt antes de prosseguir para a próxima etapa.Remove the .txt extension before proceeding to the next step.

  2. No PowerShell, mude para a pasta ADFv2QuickStartPSH.In PowerShell, switch to the ADFv2QuickStartPSH folder.

    Set-Location 'C:\ADFv2QuickStartPSH'
    
  3. Execute o cmdlet Set-AzDataFactoryV2LinkedService para criar o serviço vinculado: AzureStorageLinkedService.Run the Set-AzDataFactoryV2LinkedService cmdlet to create the linked service: AzureStorageLinkedService.

    Set-AzDataFactoryV2LinkedService -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName -Name "AzureStorageLinkedService" `
        -DefinitionFile ".\AzureStorageLinkedService.json"
    

    Veja o exemplo de saída:Here is the sample output:

    LinkedServiceName : AzureStorageLinkedService
    ResourceGroupName : <resourceGroupName>
    DataFactoryName   : <dataFactoryName>
    Properties        : Microsoft.Azure.Management.DataFactory.Models.AzureBlobStorageLinkedService
    

Criar conjuntos de dadosCreate datasets

Neste procedimento, você criará dois conjuntos de dados: InputDataset e OutputDataset.In this procedure, you create two datasets: InputDataset and OutputDataset. Esses conjuntos de dados são do tipo Binário.These datasets are of type Binary. Eles se referem ao Serviço vinculado do Armazenamento do Azure que você criou na seção anterior.They refer to the Azure Storage linked service that you created in the previous section. O conjunto de dados de entrada representa os dados de origem na pasta de entrada.The input dataset represents the source data in the input folder. Na definição de conjunto de dados de entrada, especifique o contêiner de blob (adftutorial), a pasta (entrada) e o arquivo (emp.txt) que contém os dados de origem.In the input dataset definition, you specify the blob container (adftutorial), the folder (input), and the file (emp.txt) that contain the source data. Esse conjunto de dados de saída representa os dados que são copiados para o destino.The output dataset represents the data that's copied to the destination. Na definição de conjunto de dados de saída, especifique o contêiner de blob (adftutorial), a pasta (saída) e o arquivo para o qual os dados são copiados.In the output dataset definition, you specify the blob container (adftutorial), the folder (output), and the file to which the data is copied.

  1. Crie um arquivo JSON chamado InputDataset.json na pasta C:\ADFv2QuickStartPSH com o seguinte conteúdo:Create a JSON file named InputDataset.json in the C:\ADFv2QuickStartPSH folder, with the following content:

    {
        "name": "InputDataset",
        "properties": {
            "linkedServiceName": {
                "referenceName": "AzureStorageLinkedService",
                "type": "LinkedServiceReference"
            },
            "annotations": [],
            "type": "Binary",
            "typeProperties": {
                "location": {
                    "type": "AzureBlobStorageLocation",
                    "fileName": "emp.txt",
                    "folderPath": "input",
                    "container": "adftutorial"
                }
            }
        }
    }
    
  2. Para criar o conjunto de dados: InputDataset; execute o cmdlet Set-AzDataFactoryV2Dataset.To create the dataset: InputDataset, run the Set-AzDataFactoryV2Dataset cmdlet.

    Set-AzDataFactoryV2Dataset -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName -Name "InputDataset" `
        -DefinitionFile ".\InputDataset.json"
    

    Veja o exemplo de saída:Here is the sample output:

    DatasetName       : InputDataset
    ResourceGroupName : <resourceGroupname>
    DataFactoryName   : <dataFactoryName>
    Structure         :
    Properties        : Microsoft.Azure.Management.DataFactory.Models.BinaryDataset
    
  3. Repita as etapas para criar o conjunto de dados de saída.Repeat the steps to create the output dataset. Crie um arquivo JSON chamado OutputDataset.json na pasta C:\ADFv2QuickStartPSH com o seguinte conteúdo:Create a JSON file named OutputDataset.json in the C:\ADFv2QuickStartPSH folder, with the following content:

    {
        "name": "OutputDataset",
        "properties": {
            "linkedServiceName": {
                "referenceName": "AzureStorageLinkedService",
                "type": "LinkedServiceReference"
            },
            "annotations": [],
            "type": "Binary",
            "typeProperties": {
                "location": {
                    "type": "AzureBlobStorageLocation",
                    "folderPath": "output",
                    "container": "adftutorial"
                }
            }
        }
    }
    
  4. Execute o cmdlet Set-AzDataFactoryV2Dataset para criar o OutDataset.Run the Set-AzDataFactoryV2Dataset cmdlet to create the OutDataset.

    Set-AzDataFactoryV2Dataset -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName -Name "OutputDataset" `
        -DefinitionFile ".\OutputDataset.json"
    

    Veja o exemplo de saída:Here is the sample output:

    DatasetName       : OutputDataset
    ResourceGroupName : <resourceGroupname>
    DataFactoryName   : <dataFactoryName>
    Structure         :
    Properties        : Microsoft.Azure.Management.DataFactory.Models.BinaryDataset
    

Criar um pipelineCreate a pipeline

Neste procedimento, você criará um pipeline com uma atividade de cópia que usa os conjuntos de dados de entrada e saída.In this procedure, you create a pipeline with a copy activity that uses the input and output datasets. A Atividade de cópia copia os dados do arquivo especificado por você nas configurações do conjunto de dados de entrada para o arquivo especificado por você nas configurações do conjunto de dados de saída.The copy activity copies data from the file you specified in the input dataset settings to the file you specified in the output dataset settings.

  1. Crie um arquivo JSON denominado Adfv2QuickStartPipeline.json na pasta C:\ADFv2QuickStartPSH com o seguinte conteúdo:Create a JSON file named Adfv2QuickStartPipeline.json in the C:\ADFv2QuickStartPSH folder with the following content:

    {
        "name": "Adfv2QuickStartPipeline",
        "properties": {
            "activities": [
                {
                    "name": "CopyFromBlobToBlob",
                    "type": "Copy",
                    "dependsOn": [],
                    "policy": {
                        "timeout": "7.00:00:00",
                        "retry": 0,
                        "retryIntervalInSeconds": 30,
                        "secureOutput": false,
                        "secureInput": false
                    },
                    "userProperties": [],
                    "typeProperties": {
                        "source": {
                            "type": "BinarySource",
                            "storeSettings": {
                                "type": "AzureBlobStorageReadSettings",
                                "recursive": true
                            }
                        },
                        "sink": {
                            "type": "BinarySink",
                            "storeSettings": {
                                "type": "AzureBlobStorageWriteSettings"
                            }
                        },
                        "enableStaging": false
                    },
                    "inputs": [
                        {
                            "referenceName": "InputDataset",
                            "type": "DatasetReference"
                        }
                    ],
                    "outputs": [
                        {
                            "referenceName": "OutputDataset",
                            "type": "DatasetReference"
                        }
                    ]
                }
            ],
            "annotations": []
        }
    }
    
  2. Para criar o pipeline: Adfv2QuickStartPipeline, execute o cmdlet Set-AzDataFactoryV2Pipeline.To create the pipeline: Adfv2QuickStartPipeline, Run the Set-AzDataFactoryV2Pipeline cmdlet.

    $DFPipeLine = Set-AzDataFactoryV2Pipeline `
        -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName `
        -Name "Adfv2QuickStartPipeline" `
        -DefinitionFile ".\Adfv2QuickStartPipeline.json"
    

Criar uma execução de pipelineCreate a pipeline run

Nesta etapa, você criará uma execução de pipeline.In this step, you create a pipeline run.

Execute o cmdlet Invoke-AzDataFactoryV2Pipeline para criar uma execução de pipeline.Run the Invoke-AzDataFactoryV2Pipeline cmdlet to create a pipeline run. O cmdlet retorna a ID da execução de pipeline para monitoramento futuro.The cmdlet returns the pipeline run ID for future monitoring.

$RunId = Invoke-AzDataFactoryV2Pipeline `
  -DataFactoryName $DataFactory.DataFactoryName `
  -ResourceGroupName $ResGrp.ResourceGroupName `
  -PipelineName $DFPipeLine.Name 

Monitorar a execução de pipelineMonitor the pipeline run

  1. Execute o script do PowerShell a seguir para verificar continuamente o status da execução de pipeline até que ela termine de copiar os dados.Run the following PowerShell script to continuously check the pipeline run status until it finishes copying the data. Copie/cole o script a seguir na janela do PowerShell e pressione ENTER.Copy/paste the following script in the PowerShell window, and press ENTER.

    while ($True) {
        $Run = Get-AzDataFactoryV2PipelineRun `
            -ResourceGroupName $ResGrp.ResourceGroupName `
            -DataFactoryName $DataFactory.DataFactoryName `
            -PipelineRunId $RunId
    
        if ($Run) {
            if ($run.Status -ne 'InProgress') {
                Write-Output ("Pipeline run finished. The status is: " +  $Run.Status)
                $Run
                break
            }
            Write-Output "Pipeline is running...status: InProgress"
        }
    
        Start-Sleep -Seconds 10
    }
    

    Eis aqui a amostra de saída da execução de pipeline:Here is the sample output of pipeline run:

    Pipeline is running...status: InProgress
    Pipeline run finished. The status is:  Succeeded
    
    ResourceGroupName : ADFQuickStartRG
    DataFactoryName   : ADFQuickStartFactory
    RunId             : 00000000-0000-0000-0000-0000000000000
    PipelineName      : Adfv2QuickStartPipeline
    LastUpdated       : 8/27/2019 7:23:07 AM
    Parameters        : {}
    RunStart          : 8/27/2019 7:22:56 AM
    RunEnd            : 8/27/2019 7:23:07 AM
    DurationInMs      : 11324
    Status            : Succeeded
    Message           : 
    
  2. Execute o script a seguir para recuperar os detalhes de execução da atividade de cópia, por exemplo, o tamanho dos dados lidos/gravados.Run the following script to retrieve copy activity run details, for example, size of the data read/written.

    Write-Output "Activity run details:"
    $Result = Get-AzDataFactoryV2ActivityRun -DataFactoryName $DataFactory.DataFactoryName -ResourceGroupName $ResGrp.ResourceGroupName -PipelineRunId $RunId -RunStartedAfter (Get-Date).AddMinutes(-30) -RunStartedBefore (Get-Date).AddMinutes(30)
    $Result
    
    Write-Output "Activity 'Output' section:"
    $Result.Output -join "`r`n"
    
    Write-Output "Activity 'Error' section:"
    $Result.Error -join "`r`n"
    
  3. Verifique se você vê uma saída semelhante à amostra de saída do resultado da execução de atividade a seguir:Confirm that you see the output similar to the following sample output of activity run result:

    ResourceGroupName : ADFQuickStartRG
    DataFactoryName   : ADFQuickStartFactory
    ActivityRunId     : 00000000-0000-0000-0000-000000000000
    ActivityName      : CopyFromBlobToBlob
    PipelineRunId     : 00000000-0000-0000-0000-000000000000
    PipelineName      : Adfv2QuickStartPipeline
    Input             : {source, sink, enableStaging}
    Output            : {dataRead, dataWritten, filesRead, filesWritten...}
    LinkedServiceName :
    ActivityRunStart  : 8/27/2019 7:22:58 AM
    ActivityRunEnd    : 8/27/2019 7:23:05 AM
    DurationInMs      : 6828
    Status            : Succeeded
    Error             : {errorCode, message, failureType, target}
    
    Activity 'Output' section:
    "dataRead": 20
    "dataWritten": 20
    "filesRead": 1
    "filesWritten": 1
    "sourcePeakConnections": 1
    "sinkPeakConnections": 1
    "copyDuration": 4
    "throughput": 0.01
    "errors": []
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (Central US)"
    "usedDataIntegrationUnits": 4
    "usedParallelCopies": 1
    "executionDetails": [
      {
        "source": {
          "type": "AzureBlobStorage"
        },
        "sink": {
          "type": "AzureBlobStorage"
        },
        "status": "Succeeded",
        "start": "2019-08-27T07:22:59.1045645Z",
        "duration": 4,
        "usedDataIntegrationUnits": 4,
        "usedParallelCopies": 1,
        "detailedDurations": {
          "queuingDuration": 3,
          "transferDuration": 1
        }
      }
    ]
    
    Activity 'Error' section:
    "errorCode": ""
    "message": ""
    "failureType": ""
    "target": "CopyFromBlobToBlob"
    

Examinar os recursos implantadosReview deployed resources

O pipeline cria automaticamente a pasta de saída no contêiner de blob adftutorial.The pipeline automatically creates the output folder in the adftutorial blob container. Em seguida, ele copia o arquivo emp.txt da pasta de entrada para a pasta de saída.Then, it copies the emp.txt file from the input folder to the output folder.

  1. No portal do Azure, na página do contêiner adftutorial, selecione Atualizar para ver a pasta de saída.In the Azure portal, on the adftutorial container page, select Refresh to see the output folder.

    A captura de tela mostra a página de contêiner em que você pode atualizar a página.

  2. Selecione saída na lista de pastas.Select output in the folder list.

  3. Confirme que emp.txt tenha sido copiado para a pasta de saída.Confirm that the emp.txt is copied to the output folder.

    A captura de tela mostra o conteúdo da pasta de saída.

Limpar os recursosClean up resources

Limpe os recursos criados no Guia de início rápido de duas maneiras.You can clean up the resources that you created in the Quickstart in two ways. Você pode excluir o grupo de recursos do Azure, que inclui todos os recursos no grupo de recursos.You can delete the Azure resource group, which includes all the resources in the resource group. Se desejar manter os outros recursos intactos, exclua apenas o data factory que você criou neste tutorial.If you want to keep the other resources intact, delete only the data factory you created in this tutorial.

Ao excluir um grupo de recursos, todos os recursos são excluídos, incluindo os data factories nele.Deleting a resource group deletes all resources including data factories in it. Execute o comando a seguir para excluir o grupo de recursos inteiro:Run the following command to delete the entire resource group:

Remove-AzResourceGroup -ResourceGroupName $resourcegroupname

Observação

A remoção de um grupo de recursos poderá levar algum tempo.Dropping a resource group may take some time. Seja paciente com o processoPlease be patient with the process

Se deseja excluir apenas o data factory e não o grupo de recursos inteiro, execute o seguinte comando:If you want to delete just the data factory, not the entire resource group, run the following command:

Remove-AzDataFactoryV2 -Name $dataFactoryName -ResourceGroupName $resourceGroupName

Próximas etapasNext steps

O pipeline nessa amostra copia dados de uma localização para outra em um Armazenamento de Blobs do Azure.The pipeline in this sample copies data from one location to another location in an Azure blob storage. Percorra os tutoriais para saber mais sobre o uso do Data Factory em mais cenários.Go through the tutorials to learn about using Data Factory in more scenarios.