Guida introduttiva: Creare una data factory di Azure con PowerShellQuickstart: Create an Azure data factory using PowerShell

Questa guida introduttiva descrive come usare PowerShell per creare una data factory di Azure.This quickstart describes how to use PowerShell to create an Azure data factory. La pipeline creata in questa data factory copia dati da una cartella a un'altra in un archivio BLOB di Azure.The pipeline you create in this data factory copies data from one folder to another folder in an Azure blob storage. Per un'esercitazione su come trasformare dati usando Azure Data Factory, vedere Esercitazione: Trasformare i dati con Spark.For a tutorial on how to transform data using Azure Data Factory, see Tutorial: Transform data using Spark.

Nota

Questo articolo non offre una presentazione dettagliata del servizio Data Factory.This article does not provide a detailed introduction of the Data Factory service. Per un'introduzione al servizio Azure Data Factory, vedere Introduzione ad Azure Data Factory.For an introduction to the Azure Data Factory service, see Introduction to Azure Data Factory.

PrerequisitiPrerequisites

Sottoscrizione di AzureAzure subscription

Se non si ha una sottoscrizione di Azure, creare un account gratuito prima di iniziare.If you don't have an Azure subscription, create a free account before you begin.

Ruoli di AzureAzure roles

Per creare istanze di Data Factory, l'account utente usato per accedere ad Azure deve essere un membro del ruolo collaboratore o proprietario oppure un amministratore della sottoscrizione di Azure.To create Data Factory instances, the user account that you use to sign in to Azure must be a member of the contributor or owner role, or an administrator of the Azure subscription. Per visualizzare le autorizzazioni disponibili nella sottoscrizione, passare al portale di Azure, selezionare il nome utente nell'angolo in alto a destra, selezionare Altre opzioni (...) e quindi selezionare Autorizzazioni personali.To view the permissions that you have in the subscription, go to the Azure portal, select your username in the upper-right corner, select More options (...), and then select My permissions. Se si accede a più sottoscrizioni, selezionare quella appropriata.If you have access to multiple subscriptions, select the appropriate subscription.

Per creare e gestire le risorse figlio per Data Factory, inclusi i set di dati, i servizi collegati, le pipeline, i trigger e i runtime di integrazione, sono applicabili i requisiti seguenti:To create and manage child resources for Data Factory - including datasets, linked services, pipelines, triggers, and integration runtimes - the following requirements are applicable:

  • Per creare e gestire le risorse figlio nel portale di Azure, è necessario appartenere al ruolo Collaboratore Data Factory a livello di gruppo di risorse o superiore.To create and manage child resources in the Azure portal, you must belong to the Data Factory Contributor role at the resource group level or above.
  • Per creare e gestire le risorse figlio con PowerShell o l'SDK, è sufficiente il ruolo di collaboratore a livello di risorsa o superiore.To create and manage child resources with PowerShell or the SDK, the contributor role at the resource level or above is sufficient.

Per istruzioni di esempio su come aggiungere un utente a un ruolo, vedere l'articolo Aggiungere i ruoli.For sample instructions about how to add a user to a role, see the Add roles article.

Per altre informazioni, vedere gli articoli seguenti:For more info, see the following articles:

Account di archiviazione di AzureAzure storage account

In questa guida introduttiva si usa un account di archiviazione di Azure per utilizzo generico (specificamente, di archiviazione BLOB) come archivio dati sia di origine che di destinazione.You use a general-purpose Azure storage account (specifically Blob storage) as both source and destination data stores in this quickstart. Se non si ha un account di archiviazione di Azure per utilizzo generico, vedere Creare un account di archiviazione per informazioni su come crearne uno.If you don't have a general-purpose Azure storage account, see Create a storage account to create one.

Ottenere il nome dell'account di archiviazioneGet the storage account name

Per questa guida introduttiva è necessario avere il nome dell'account di archiviazione di Azure.You will need the name of your Azure storage account for this quickstart. La procedura seguente illustra i passaggi per recuperare il nome dell'account di archiviazione:The following procedure provides steps to get the name of your storage account:

  1. In un Web browser passare al portale di Azure e accedere usando il nome utente e la password di Azure.In a web browser, go to the Azure portal and sign in using your Azure username and password.
  2. Dal menu del portale di Azure scegliere Tutti i servizi, quindi selezionare Archiviazione > Account di archiviazione.From the Azure portal menu, select All services, then select Storage > Storage accounts. È anche possibile cercare e selezionare Account di archiviazione in qualsiasi pagina.You can also search for and select Storage accounts from any page.
  3. Nella pagina Account di archiviazione filtrare gli account di archiviazione, se necessario, quindi selezionare il proprio account di archiviazione.In the Storage accounts page, filter for your storage account (if needed), and then select your storage account.

È anche possibile cercare e selezionare Account di archiviazione in qualsiasi pagina.You can also search for and select Storage accounts from any page.

Creare un contenitore BLOBCreate a blob container

In questa sezione viene creato un contenitore BLOB denominato adftutorial nell'archivio BLOB di Azure.In this section, you create a blob container named adftutorial in Azure Blob storage.

  1. Dalla pagina dell'account di archiviazione, selezionare Panoramica > BLOB.From the storage account page, select Overview > Blobs.

  2. Nella barra degli strumenti <Nome account> - BLOB selezionare Contenitore.On the <Account name> - Blobs page's toolbar, select Container.

  3. Nella finestra di dialogo Nuovo contenitore immettere adftutorial come nome e quindi fare clic su OK.In the New container dialog box, enter adftutorial for the name, and then select OK. La pagina <Nome account> - BLOB viene aggiornata per includere adftutorial nell'elenco dei contenitori.The <Account name> - Blobs page is updated to include adftutorial in the list of containers.

    Elenco dei contenitori

Aggiungere una cartella di input e un file per il contenitore BLOBAdd an input folder and file for the blob container

In questa sezione verrà creata una cartella denominata input nel contenitore appena creato, quindi si caricherà un file di esempio in tale cartella.In this section, you create a folder named input in the container you just created, and then upload a sample file to the input folder. Prima di iniziare, aprire un editor di testo come il Blocco note e creare un file denominato emp.txt con il contenuto seguente:Before you begin, open a text editor such as Notepad, and create a file named emp.txt with the following content:

John, Doe
Jane, Doe

Salvare il file nella cartella C:\ADFv2QuickStartPSH.Save the file in the C:\ADFv2QuickStartPSH folder. Se la cartella non esiste, crearla. Tornare al portale di Azure e seguire questa procedura:(If the folder doesn't already exist, create it.) Then return to the Azure portal and follow these steps:

  1. Dal punto in cui ci si trovava nella pagina <Nome account> - BLOB selezionare adftutorial nell'elenco aggiornato dei contenitori.In the <Account name> - Blobs page where you left off, select adftutorial from the updated list of containers.

    1. Se la finestra è stata chiusa o è passata a un'altra pagina, accedere nuovamente al portale di Azure.If you closed the window or went to another page, sign in to the Azure portal again.
    2. Dal menu del portale di Azure scegliere Tutti i servizi, quindi selezionare Archiviazione > Account di archiviazione.From the Azure portal menu, select All services, then select Storage > Storage accounts. È anche possibile cercare e selezionare Account di archiviazione in qualsiasi pagina.You can also search for and select Storage accounts from any page.
    3. Selezionare l'account di archiviazione, quindi BLOB > adftutorial.Select your storage account, and then select Blobs > adftutorial.
  2. Nella barra degli strumenti della pagina del contenitore adftutorial selezionare Carica.On the adftutorial container page's toolbar, select Upload.

  3. Nella pagina Carica BLOB selezionare la casella File, quindi individuare e selezionare il file emp.txt.In the Upload blob page, select the Files box, and then browse to and select the emp.txt file.

  4. Espandere l'intestazione Avanzate.Expand the Advanced heading. La pagina viene ora visualizzata come illustrato di seguito:The page now displays as shown:

    Selezionare il collegamento Avanzate

  5. Nella casella Carica nella cartella immettere input.In the Upload to folder box, enter input.

  6. Selezionare il pulsante Carica.Select the Upload button. Verranno visualizzati il file emp.txt e lo stato del caricamento nell'elenco.You should see the emp.txt file and the status of the upload in the list.

  7. Selezionare l'icona Chiudi (una X) per chiudere la pagina Carica BLOB.Select the Close icon (an X) to close the Upload blob page.

Lasciare aperta la pagina del contenitore adftutorial.Keep the adftutorial container page open. perché verrà usata per verificare l'output alla fine di questa guida introduttiva.You use it to verify the output at the end of this quickstart.

Azure PowerShellAzure PowerShell

Nota

Questo articolo è stato aggiornato per usare il nuovo modulo Az di Azure PowerShell.This article has been updated to use the new Azure PowerShell Az module. È comunque possibile usare il modulo AzureRM, che continuerà a ricevere correzioni di bug almeno fino a dicembre 2020.You can still use the AzureRM module, which will continue to receive bug fixes until at least December 2020. Per altre informazioni sul nuovo modulo Az e sulla compatibilità di AzureRM, vedere Introduzione del nuovo modulo Az di Azure PowerShell.To learn more about the new Az module and AzureRM compatibility, see Introducing the new Azure PowerShell Az module. Per istruzioni sull'installazione del modulo Az, vedere Installare Azure PowerShell.For Az module installation instructions, see Install Azure PowerShell.

Installare i moduli di Azure PowerShell più recenti seguendo le istruzioni descritte in Come installare e configurare Azure PowerShell.Install the latest Azure PowerShell modules by following instructions in How to install and configure Azure PowerShell.

Accedere a PowerShellLog in to PowerShell

  1. Avviare PowerShell nel computer.Launch PowerShell on your machine. Tenere aperto PowerShell fino alla fine di questa guida introduttiva.Keep PowerShell open until the end of this quickstart. Se si chiude e si riapre, sarà necessario eseguire di nuovo questi comandi.If you close and reopen, you need to run these commands again.

  2. Eseguire questo comando e immettere lo stesso nome utente e la stessa password di Azure usati per accedere al portale di Azure:Run the following command, and enter the same Azure user name and password that you use to sign in to the Azure portal:

    Connect-AzAccount
    
  3. Eseguire questo comando per visualizzare tutte le sottoscrizioni per l'account:Run the following command to view all the subscriptions for this account:

    Get-AzSubscription
    
  4. Se vengono visualizzate più sottoscrizioni associate all'account, eseguire il comando seguente per selezionare la sottoscrizione da usare.If you see multiple subscriptions associated with your account, run the following command to select the subscription that you want to work with. Sostituire SubscriptionId con l'ID della sottoscrizione di Azure:Replace SubscriptionId with the ID of your Azure subscription:

    Select-AzSubscription -SubscriptionId "<SubscriptionId>"
    

Creare una data factoryCreate a data factory

  1. Definire una variabile per il nome del gruppo di risorse usato in seguito nei comandi di PowerShell.Define a variable for the resource group name that you use in PowerShell commands later. Copiare il testo del comando seguente in PowerShell, specificare un nome per il gruppo di risorse di Azure tra virgolette doppie e quindi eseguire il comando.Copy the following command text to PowerShell, specify a name for the Azure resource group in double quotes, and then run the command. Ad esempio: "ADFQuickStartRG".For example: "ADFQuickStartRG".

    $resourceGroupName = "ADFQuickStartRG";
    

    Se il gruppo di risorse esiste già, potrebbe essere preferibile non sovrascriverlo.If the resource group already exists, you may not want to overwrite it. Assegnare un valore diverso alla variabile $ResourceGroupName ed eseguire di nuovo il comando.Assign a different value to the $ResourceGroupName variable and run the command again

  2. Per creare il gruppo di risorse di Azure, eseguire questo comando:To create the Azure resource group, run the following command:

    $ResGrp = New-AzResourceGroup $resourceGroupName -location 'East US'
    

    Se il gruppo di risorse esiste già, potrebbe essere preferibile non sovrascriverlo.If the resource group already exists, you may not want to overwrite it. Assegnare un valore diverso alla variabile $ResourceGroupName ed eseguire di nuovo il comando.Assign a different value to the $ResourceGroupName variable and run the command again.

  3. Definire una variabile per il nome della data factory.Define a variable for the data factory name.

    Importante

    Aggiornare il nome della data factory in modo che sia univoco a livello globale.Update the data factory name to be globally unique. Ad esempio, ADFTutorialFactorySP1127.For example, ADFTutorialFactorySP1127.

    $dataFactoryName = "ADFQuickStartFactory";
    
  4. Per creare la data factory, eseguire il cmdlet Set-AzDataFactoryV2 usando le proprietà Location e ResourceGroupName della variabile $ResGrp:To create the data factory, run the following Set-AzDataFactoryV2 cmdlet, using the Location and ResourceGroupName property from the $ResGrp variable:

    $DataFactory = Set-AzDataFactoryV2 -ResourceGroupName $ResGrp.ResourceGroupName `
        -Location $ResGrp.Location -Name $dataFactoryName
    

Tenere presente quanto segue:Note the following points:

  • È necessario specificare un nome univoco globale per l'istanza di Azure Data Factory.The name of the Azure data factory must be globally unique. Se viene visualizzato l'errore seguente, modificare il nome e riprovare.If you receive the following error, change the name and try again.

    The specified Data Factory name 'ADFv2QuickStartDataFactory' is already in use. Data Factory names must be globally unique.
    
  • Per creare istanze di Data Factory, l'account utente usato per accedere ad Azure deve essere un membro dei ruoli collaboratore o proprietario oppure un amministratore della sottoscrizione di Azure.To create Data Factory instances, the user account you use to log in to Azure must be a member of contributor or owner roles, or an administrator of the Azure subscription.

  • Per un elenco di aree di Azure in cui Data Factory è attualmente disponibile, selezionare le aree di interesse nella pagina seguente, quindi espandere Analytics per individuare Data Factory: Prodotti disponibili in base all'area.For a list of Azure regions in which Data Factory is currently available, select the regions that interest you on the following page, and then expand Analytics to locate Data Factory: Products available by region. Gli archivi dati (Archiviazione di Azure, database SQL di Azure e così via) e le risorse di calcolo (HDInsight e così via) usati dalla data factory possono trovarsi in altre aree.The data stores (Azure Storage, Azure SQL Database, etc.) and computes (HDInsight, etc.) used by data factory can be in other regions.

Creare un servizio collegatoCreate a linked service

Creare servizi collegati in una data factory per collegare gli archivi dati e i servizi di calcolo alla data factory.Create linked services in a data factory to link your data stores and compute services to the data factory. In questa guida introduttiva si crea un servizio collegato Archiviazione di Azure che viene usato come archivio sia di origine che sink.In this quickstart, you create an Azure Storage linked service that is used as both the source and sink stores. Il servizio collegato ha le informazioni di connessione usate dal servizio Data Factory in fase di esecuzione per la connessione.The linked service has the connection information that the Data Factory service uses at runtime to connect to it.

  1. Creare un file JSON denominato AzureStorageLinkedService.json nella cartella C:\ADFv2QuickStartPSH con il contenuto seguente: Se non esiste ancora, creare la cartella ADFv2QuickStartPSH.Create a JSON file named AzureStorageLinkedService.json in C:\ADFv2QuickStartPSH folder with the following content: (Create the folder ADFv2QuickStartPSH if it does not already exist.).

    Importante

    Sostituire <accountname> e <accountkey> con il nome e la chiave dell'account di archiviazione di Azure prima di salvare il file.Replace <accountName> and <accountKey> with name and key of your Azure storage account before saving the file.

    {
        "name": "AzureStorageLinkedService",
        "properties": {
            "annotations": [],
            "type": "AzureBlobStorage",
            "typeProperties": {
                "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net"
            }
        }
    }
    

    Se si usa Blocco note, selezionare Tutti i file per il campo Tipo file nella finestra di dialogo Salva con nome.If you are using Notepad, select All files for the Save as type filed in the Save as dialog box. In caso contrario, è possibile che venga aggiunta l'estensione .txt al file.Otherwise, it may add .txt extension to the file. Ad esempio: AzureStorageLinkedService.json.txt.For example, AzureStorageLinkedService.json.txt. Se si crea il file in Esplora file prima di aprirlo in Blocco note, è possibile che l'estensione .txt non venga visualizzata perché l'opzione Nascondi estensioni per i tipi di file conosciuti è selezionata per impostazione predefinita.If you create the file in File Explorer before opening it in Notepad, you may not see the .txt extension since the Hide extensions for known files types option is set by default. Rimuovere l'estensione .txt prima di procedere al passaggio successivo.Remove the .txt extension before proceeding to the next step.

  2. In PowerShell passare alla cartella ADFv2QuickStartPSH.In PowerShell, switch to the ADFv2QuickStartPSH folder.

    Set-Location 'C:\ADFv2QuickStartPSH'
    
  3. Eseguire il cmdlet Set-AzDataFactoryV2LinkedService per creare il servizio collegato: AzureStorageLinkedService.Run the Set-AzDataFactoryV2LinkedService cmdlet to create the linked service: AzureStorageLinkedService.

    Set-AzDataFactoryV2LinkedService -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName -Name "AzureStorageLinkedService" `
        -DefinitionFile ".\AzureStorageLinkedService.json"
    

    Di seguito è riportato l'output di esempio:Here is the sample output:

    LinkedServiceName : AzureStorageLinkedService
    ResourceGroupName : <resourceGroupName>
    DataFactoryName   : <dataFactoryName>
    Properties        : Microsoft.Azure.Management.DataFactory.Models.AzureBlobStorageLinkedService
    

Creare set di datiCreate datasets

In questa procedura verranno creati due set di dati: InputDataset e OutputDataset.In this procedure, you create two datasets: InputDataset and OutputDataset. I set di dati sono di tipo Binary.These datasets are of type Binary. Fanno riferimento al servizio collegato Archiviazione di Azure creato nella sezione precedente.They refer to the Azure Storage linked service that you created in the previous section. Il set di dati di input rappresenta i dati di origini nella cartella di input.The input dataset represents the source data in the input folder. Nella definizione del set di dati di input specificare il contenitore BLOB (adftutorial), la cartella (input) e il file (emp.txt) che includono i dati di origine.In the input dataset definition, you specify the blob container (adftutorial), the folder (input), and the file (emp.txt) that contain the source data. Il set di dati di output rappresenta i dati copiati nella destinazione.The output dataset represents the data that's copied to the destination. Nella definizione del set di dati di output specificare il contenitore BLOB (adftutorial), la cartella (output) e il file in cui vengono copiati i dati.In the output dataset definition, you specify the blob container (adftutorial), the folder (output), and the file to which the data is copied.

  1. Creare un file JSON denominato InputDataset.json nella cartella C:\ADFv2QuickStartPSH, con il contenuto seguente:Create a JSON file named InputDataset.json in the C:\ADFv2QuickStartPSH folder, with the following content:

    {
        "name": "InputDataset",
        "properties": {
            "linkedServiceName": {
                "referenceName": "AzureStorageLinkedService",
                "type": "LinkedServiceReference"
            },
            "annotations": [],
            "type": "Binary",
            "typeProperties": {
                "location": {
                    "type": "AzureBlobStorageLocation",
                    "fileName": "emp.txt",
                    "folderPath": "input",
                    "container": "adftutorial"
                }
            }
        }
    }
    
  2. Per creare il set di dati InputDataset, eseguire il cmdlet Set-AzDataFactoryV2Dataset.To create the dataset: InputDataset, run the Set-AzDataFactoryV2Dataset cmdlet.

    Set-AzDataFactoryV2Dataset -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName -Name "InputDataset" `
        -DefinitionFile ".\InputDataset.json"
    

    Di seguito è riportato l'output di esempio:Here is the sample output:

    DatasetName       : InputDataset
    ResourceGroupName : <resourceGroupname>
    DataFactoryName   : <dataFactoryName>
    Structure         :
    Properties        : Microsoft.Azure.Management.DataFactory.Models.BinaryDataset
    
  3. Ripetere la procedura per creare il set di dati di output.Repeat the steps to create the output dataset. Creare un file JSON denominato OutputDataset.json nella cartella C:\ADFv2QuickStartPSH, con il contenuto seguente:Create a JSON file named OutputDataset.json in the C:\ADFv2QuickStartPSH folder, with the following content:

    {
        "name": "OutputDataset",
        "properties": {
            "linkedServiceName": {
                "referenceName": "AzureStorageLinkedService",
                "type": "LinkedServiceReference"
            },
            "annotations": [],
            "type": "Binary",
            "typeProperties": {
                "location": {
                    "type": "AzureBlobStorageLocation",
                    "folderPath": "output",
                    "container": "adftutorial"
                }
            }
        }
    }
    
  4. Eseguire il cmdlet Set-AzDataFactoryV2Dataset per creare il set di dati OutDataset.Run the Set-AzDataFactoryV2Dataset cmdlet to create the OutDataset.

    Set-AzDataFactoryV2Dataset -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName -Name "OutputDataset" `
        -DefinitionFile ".\OutputDataset.json"
    

    Di seguito è riportato l'output di esempio:Here is the sample output:

    DatasetName       : OutputDataset
    ResourceGroupName : <resourceGroupname>
    DataFactoryName   : <dataFactoryName>
    Structure         :
    Properties        : Microsoft.Azure.Management.DataFactory.Models.BinaryDataset
    

Creare una pipelineCreate a pipeline

In questa procedura viene creata una pipeline con un'attività di copia che usa i set di dati di input e di output.In this procedure, you create a pipeline with a copy activity that uses the input and output datasets. Con l'attività di copia i dati vengono copiati dal file specificato nelle impostazioni del set di dati di input al file specificato nelle impostazioni del set di dati di output.The copy activity copies data from the file you specified in the input dataset settings to the file you specified in the output dataset settings.

  1. Creare un file JSON denominato Adfv2QuickStartPipeline.json nella cartella C:\ADFv2QuickStartPSH, con il contenuto seguente:Create a JSON file named Adfv2QuickStartPipeline.json in the C:\ADFv2QuickStartPSH folder with the following content:

    {
        "name": "Adfv2QuickStartPipeline",
        "properties": {
            "activities": [
                {
                    "name": "CopyFromBlobToBlob",
                    "type": "Copy",
                    "dependsOn": [],
                    "policy": {
                        "timeout": "7.00:00:00",
                        "retry": 0,
                        "retryIntervalInSeconds": 30,
                        "secureOutput": false,
                        "secureInput": false
                    },
                    "userProperties": [],
                    "typeProperties": {
                        "source": {
                            "type": "BinarySource",
                            "storeSettings": {
                                "type": "AzureBlobStorageReadSettings",
                                "recursive": true
                            }
                        },
                        "sink": {
                            "type": "BinarySink",
                            "storeSettings": {
                                "type": "AzureBlobStorageWriteSettings"
                            }
                        },
                        "enableStaging": false
                    },
                    "inputs": [
                        {
                            "referenceName": "InputDataset",
                            "type": "DatasetReference"
                        }
                    ],
                    "outputs": [
                        {
                            "referenceName": "OutputDataset",
                            "type": "DatasetReference"
                        }
                    ]
                }
            ],
            "annotations": []
        }
    }
    
  2. Per creare la pipeline Adfv2QuickStartPipeline, eseguire il cmdlet Set-AzDataFactoryV2Pipeline.To create the pipeline: Adfv2QuickStartPipeline, Run the Set-AzDataFactoryV2Pipeline cmdlet.

    $DFPipeLine = Set-AzDataFactoryV2Pipeline `
        -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName `
        -Name "Adfv2QuickStartPipeline" `
        -DefinitionFile ".\Adfv2QuickStartPipeline.json"
    

Creare un'esecuzione della pipelineCreate a pipeline run

In questo passaggio viene creata un'esecuzione della pipeline.In this step, you create a pipeline run.

Eseguire il cmdlet Invoke-AzDataFactoryV2Pipeline per creare un'esecuzione della pipeline.Run the Invoke-AzDataFactoryV2Pipeline cmdlet to create a pipeline run. Il cmdlet restituisce l'ID di esecuzione della pipeline per il monitoraggio futuro.The cmdlet returns the pipeline run ID for future monitoring.

$RunId = Invoke-AzDataFactoryV2Pipeline `
  -DataFactoryName $DataFactory.DataFactoryName `
  -ResourceGroupName $ResGrp.ResourceGroupName `
  -PipelineName $DFPipeLine.Name 

Monitorare l'esecuzione della pipelineMonitor the pipeline run

  1. Eseguire lo script di PowerShell seguente per verificare continuamente lo stato di esecuzione della pipeline fino al termine della copia dei dati.Run the following PowerShell script to continuously check the pipeline run status until it finishes copying the data. Copiare/Incollare lo script seguente nella finestra di PowerShell e premere INVIO.Copy/paste the following script in the PowerShell window, and press ENTER.

    while ($True) {
        $Run = Get-AzDataFactoryV2PipelineRun `
            -ResourceGroupName $ResGrp.ResourceGroupName `
            -DataFactoryName $DataFactory.DataFactoryName `
            -PipelineRunId $RunId
    
        if ($Run) {
            if ($run.Status -ne 'InProgress') {
                Write-Output ("Pipeline run finished. The status is: " +  $Run.Status)
                $Run
                break
            }
            Write-Output "Pipeline is running...status: InProgress"
        }
    
        Start-Sleep -Seconds 10
    }
    

    Ecco l'output di esempio dell'esecuzione della pipeline:Here is the sample output of pipeline run:

    Pipeline is running...status: InProgress
    Pipeline run finished. The status is:  Succeeded
    
    ResourceGroupName : ADFQuickStartRG
    DataFactoryName   : ADFQuickStartFactory
    RunId             : 00000000-0000-0000-0000-0000000000000
    PipelineName      : Adfv2QuickStartPipeline
    LastUpdated       : 8/27/2019 7:23:07 AM
    Parameters        : {}
    RunStart          : 8/27/2019 7:22:56 AM
    RunEnd            : 8/27/2019 7:23:07 AM
    DurationInMs      : 11324
    Status            : Succeeded
    Message           : 
    
  2. Eseguire lo script seguente per recuperare i dettagli sull'esecuzione dell'attività di copia, ad esempio le dimensioni dei dati letti/scritti.Run the following script to retrieve copy activity run details, for example, size of the data read/written.

    Write-Output "Activity run details:"
    $Result = Get-AzDataFactoryV2ActivityRun -DataFactoryName $DataFactory.DataFactoryName -ResourceGroupName $ResGrp.ResourceGroupName -PipelineRunId $RunId -RunStartedAfter (Get-Date).AddMinutes(-30) -RunStartedBefore (Get-Date).AddMinutes(30)
    $Result
    
    Write-Output "Activity 'Output' section:"
    $Result.Output -join "`r`n"
    
    Write-Output "Activity 'Error' section:"
    $Result.Error -join "`r`n"
    
  3. Assicurarsi di visualizzare un output simile all'output di esempio seguente come risultato dell'esecuzione dell'attività:Confirm that you see the output similar to the following sample output of activity run result:

    ResourceGroupName : ADFQuickStartRG
    DataFactoryName   : ADFQuickStartFactory
    ActivityRunId     : 00000000-0000-0000-0000-000000000000
    ActivityName      : CopyFromBlobToBlob
    PipelineRunId     : 00000000-0000-0000-0000-000000000000
    PipelineName      : Adfv2QuickStartPipeline
    Input             : {source, sink, enableStaging}
    Output            : {dataRead, dataWritten, filesRead, filesWritten...}
    LinkedServiceName :
    ActivityRunStart  : 8/27/2019 7:22:58 AM
    ActivityRunEnd    : 8/27/2019 7:23:05 AM
    DurationInMs      : 6828
    Status            : Succeeded
    Error             : {errorCode, message, failureType, target}
    
    Activity 'Output' section:
    "dataRead": 20
    "dataWritten": 20
    "filesRead": 1
    "filesWritten": 1
    "sourcePeakConnections": 1
    "sinkPeakConnections": 1
    "copyDuration": 4
    "throughput": 0.01
    "errors": []
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (Central US)"
    "usedDataIntegrationUnits": 4
    "usedParallelCopies": 1
    "executionDetails": [
      {
        "source": {
          "type": "AzureBlobStorage"
        },
        "sink": {
          "type": "AzureBlobStorage"
        },
        "status": "Succeeded",
        "start": "2019-08-27T07:22:59.1045645Z",
        "duration": 4,
        "usedDataIntegrationUnits": 4,
        "usedParallelCopies": 1,
        "detailedDurations": {
          "queuingDuration": 3,
          "transferDuration": 1
        }
      }
    ]
    
    Activity 'Error' section:
    "errorCode": ""
    "message": ""
    "failureType": ""
    "target": "CopyFromBlobToBlob"
    

Verificare l'outputVerify the output

La pipeline crea automaticamente la cartella di output nel contenitore BLOB adftutorial,The pipeline automatically creates the output folder in the adftutorial blob container. quindi copia il file emp.txt dalla cartella di input a quella di output.Then, it copies the emp.txt file from the input folder to the output folder.

  1. Nella pagina del contenitore adftutorial del portale di Azure fare clic su Aggiorna per visualizzare la cartella di output.In the Azure portal, on the adftutorial container page, click Refresh to see the output folder.

    Aggiorna

  2. Fare clic su output nell'elenco di cartelle.Click output in the folder list.

  3. Verificare che emp.txt venga copiato nella cartella di output.Confirm that the emp.txt is copied to the output folder.

    Aggiorna

Pulire le risorseClean up resources

È possibile eseguire la pulizia delle risorse create nel corso della guida introduttiva in due modi.You can clean up the resources that you created in the Quickstart in two ways. Si può eliminare il gruppo di risorse di Azure, in modo da includere tutte le risorse del gruppo.You can delete the Azure resource group, which includes all the resources in the resource group. Se invece si vogliono mantenere intatte le altre risorse, eliminare solo la data factory creata in questa esercitazione.If you want to keep the other resources intact, delete only the data factory you created in this tutorial.

Se si elimina un gruppo di risorse, vengono eliminate tutte le risorse in esso contenute, incluse le data factory.Deleting a resource group deletes all resources including data factories in it. Eseguire il comando seguente per eliminare l'intero gruppo di risorse:Run the following command to delete the entire resource group:

Remove-AzResourceGroup -ResourceGroupName $resourcegroupname

Nota: l'eliminazione di un gruppo di risorse può richiedere tempo.Note: dropping a resource group may take some time. Attendere il completamento del processo.Please be patient with the process

Per eliminare solo la data factory e non l'intero gruppo di risorse, eseguire il comando seguente:If you want to delete just the data factory, not the entire resource group, run the following command:

Remove-AzDataFactoryV2 -Name $dataFactoryName -ResourceGroupName $resourceGroupName

Passaggi successiviNext steps

La pipeline in questo esempio copia i dati da una posizione a un'altra in un archivio BLOB di Azure.The pipeline in this sample copies data from one location to another location in an Azure blob storage. Per informazioni sull'uso di Data Factory in più scenari, fare riferimento alle esercitazioni.Go through the tutorials to learn about using Data Factory in more scenarios.