Copiare in blocco da un database in Esplora dati di Azure usando il modello di Azure Data FactoryCopy in bulk from a database to Azure Data Explorer by using the Azure Data Factory template

Azure Esplora dati è un servizio di analisi dei dati veloce e completamente gestito.Azure Data Explorer is a fast, fully managed, data-analytics service. Offre analisi in tempo reale su grandi volumi di dati trasmessi da numerose origini, ad esempio applicazioni, siti Web e dispositivi Internet.It offers real-time analysis on large volumes of data that stream from many sources, such as applications, websites, and IoT devices.

Per copiare dati da un database in Oracle Server, Netezza, Teradata o SQL Server ad Azure Esplora dati, è necessario caricare grandi quantità di dati da più tabelle.To copy data from a database in Oracle Server, Netezza, Teradata, or SQL Server to Azure Data Explorer, you have to load huge amounts of data from multiple tables. I dati in genere devono essere partizionati in ogni tabella, in modo che sia possibile caricare righe con più thread in parallelo da una singola tabella.Usually, the data has to be partitioned in each table so that you can load rows with multiple threads in parallel from a single table. Questo articolo descrive un modello da usare in questi scenari.This article describes a template to use in these scenarios.

I modelli Azure Data Factory sono pipeline data factory predefinite.Azure Data Factory templates are predefined Data Factory pipelines. Questi modelli consentono di iniziare rapidamente a usare Data Factory e ridurre i tempi di sviluppo nei progetti di integrazione dei dati.These templates can help you get started quickly with Data Factory and reduce development time on data integration projects.

Per creare la copia bulk dal database al modello di Esplora dati di Azure, è possibile usare le attività di ricerca e foreach .You create the Bulk Copy from Database to Azure Data Explorer template by using Lookup and ForEach activities. Per velocizzare la copia dei dati, è possibile usare il modello per creare molte pipeline per database o per tabella.For faster data copying, you can use the template to create many pipelines per database or per table.

Importante

Assicurarsi di utilizzare lo strumento appropriato per la quantità di dati che si desidera copiare.Be sure to use the tool that's appropriate for the quantity of data you want to copy.

  • Usare il modello di copia bulk da database a Esplora dati di Azure per copiare grandi quantità di dati da database come SQL Server e Google BigQuery in Azure Esplora dati.Use the Bulk Copy from Database to Azure Data Explorer template to copy large amounts of data from databases such as SQL server and Google BigQuery to Azure Data Explorer.
  • Usare lo strumento Copia dati Data Factory per copiare alcune tabelle con quantità di dati ridotta o moderata in Esplora dati di Azure.Use the Data Factory Copy Data tool to copy a few tables with small or moderate amounts of data into Azure Data Explorer.

PrerequisitiPrerequisites

Crea ControlTableDatasetCreate ControlTableDataset

ControlTableDataset indica quali dati verranno copiati dall'origine alla destinazione nella pipeline.ControlTableDataset indicates what data will be copied from the source to the destination in the pipeline. Il numero di righe indica il numero totale di pipeline necessarie per la copia dei dati.The number of rows indicates the total number of pipelines that are needed to copy the data. È necessario definire ControlTableDataset come parte del database di origine.You should define ControlTableDataset as part of the source database.

Un esempio del formato della tabella di origine SQL Server è illustrato nel codice seguente:An example of the SQL Server source table format is shown in the following code:

CREATE TABLE control_table (
PartitionId int,
SourceQuery varchar(255),
ADXTableName varchar(255)
);

Gli elementi di codice sono descritti nella tabella seguente:The code elements are described in the following table:

ProprietàProperty DescrizioneDescription EsempioExample
PartitionIdPartitionId Ordine di copiaThe copy order 11
SourceQuerySourceQuery Query che indica i dati che verranno copiati durante il runtime della pipelineThe query that indicates which data will be copied during the pipeline runtime
select * from table where lastmodifiedtime LastModifytime >= ''2015-01-01 00:00:00''>
ADXTableNameADXTableName Nome della tabella di destinazioneThe destination table name MyAdxTableMyAdxTable

Se il ControlTableDataset è in un formato diverso, creare un ControlTableDataset analogo per il formato.If your ControlTableDataset is in a different format, create a comparable ControlTableDataset for your format.

Usare la copia bulk dal database al modello di Esplora dati di AzureUse the Bulk Copy from Database to Azure Data Explorer template

  1. Nel riquadro attività iniziali selezionare crea pipeline da modello per aprire il riquadro raccolta modelli .In the Let's get started pane, select Create pipeline from template to open the Template gallery pane.

    Riquadro "Introduzione" Azure Data Factory

  2. Selezionare la copia bulk dal database al modello di Esplora dati di Azure .Select the Bulk Copy from Database to Azure Data Explorer template.

    Modello "copia bulk dal database al Esplora dati di Azure"

  3. Nel riquadro copia bulk da database a Esplora dati di Azure , in input utentespecificare i set di dati attenendosi alla seguente procedura:In the Bulk Copy from Database to Azure Data Explorer pane, under User Inputs, specify your datasets by doing the following:

    a.a. Nell'elenco a discesa ControlTableDataset selezionare il servizio collegato alla tabella dei controlli che indica quali dati vengono copiati dall'origine alla destinazione e dove verranno inseriti nella destinazione.In the ControlTableDataset drop-down list, select the linked service to the control table that indicates what data is copied from the source to the destination and where it will be placed in the destination.

    b.b. Nell'elenco a discesa SourceDataset selezionare il servizio collegato al database di origine.In the SourceDataset drop-down list, select the linked service to the source database.

    c.c. Nell'elenco a discesa AzureDataExplorerTable selezionare la tabella Esplora dati di Azure.In the AzureDataExplorerTable drop-down list, select the Azure Data Explorer table. Se il set di dati non esiste, creare il servizio collegato di Azure Esplora dati per aggiungere il set di dati.If the dataset doesn't exist, create the Azure Data Explorer linked service to add the dataset.

    d.d. Selezionare Usa questo modello.Select Use this template.

    Riquadro "copia bulk dal database al Esplora dati di Azure"

  4. Selezionare un'area nell'area di disegno, all'esterno delle attività, per accedere alla pipeline del modello.Select an area in the canvas, outside the activities, to access the template pipeline. Selezionare la scheda parametri per immettere i parametri per la tabella, inclusi nome (nome della tabella di controllo) e valore predefinito (nomi di colonna).Select the Parameters tab to enter the parameters for the table, including Name (control table name) and Default value (column names).

    Parametri della pipeline

  5. In Lookupselezionare getpartitionare per visualizzare le impostazioni predefinite.Under Lookup, select GetPartitionList to view the default settings. La query viene creata automaticamente.The query is automatically created.

  6. Selezionare l'attività del comando, ForEachPartition, selezionare la scheda Impostazioni e quindi eseguire le operazioni seguenti:Select the Command activity, ForEachPartition, select the Settings tab, and then do the following:

    a.a. Nella casella batch count immettere un numero compreso tra 1 e 50.In the Batch count box, enter a number from 1 to 50. Questa selezione determina il numero di pipeline eseguite in parallelo fino a quando non viene raggiunto il numero di righe ControlTableDataset .This selection determines the number of pipelines that run in parallel until the number of ControlTableDataset rows is reached.

    b.b. Per assicurarsi che i batch di pipeline vengano eseguiti in parallelo, non selezionare la casella di controllo sequenziale .To ensure that the pipeline batches run in parallel, do not select the Sequential check box.

    Impostazioni ForEachPartition

    Suggerimento

    La procedura consigliata consiste nell'eseguire più pipeline in parallelo, in modo che i dati possano essere copiati più rapidamente.The best practice is to run many pipelines in parallel so that your data can be copied more quickly. Per aumentare l'efficienza, partizionare i dati nella tabella di origine e allocare una partizione per ogni pipeline, in base a data e tabella.To increase efficiency, partition the data in the source table and allocate one partition per pipeline, according to date and table.

  7. Selezionare Validate all per convalidare la pipeline di Azure Data Factory, quindi visualizzare il risultato nel riquadro di output di convalida della pipeline .Select Validate All to validate the Azure Data Factory pipeline, and then view the result in the Pipeline Validation Output pane.

    Convalidare le pipeline modello

  8. Se necessario, selezionare debug, quindi selezionare Aggiungi trigger per eseguire la pipeline.If necessary, select Debug, and then select Add trigger to run the pipeline.

    Pulsanti "debug" e "Esegui pipeline"

È ora possibile usare il modello per copiare in modo efficiente grandi quantità di dati dai database e dalle tabelle.You can now use the template to efficiently copy large amounts of data from your databases and tables.

Passaggi successiviNext steps