Spostare dati da o verso un archivio BLOB di Azure con connettori SSIS

SQL Server Integration Services Feature Pack for Azure fornisce componenti per la connessione ad Azure, il trasferimento di dati tra Azure e origini dati locali e l'elaborazione di dati archiviati in Azure.

Questo menu contiene collegamenti alle tecnologie che è possibile usare per spostare dati da e verso un archivio BLOB di Azure:

Dopo che i clienti hanno spostato i dati locali sul cloud, potranno accedere ai dati da qualsiasi servizio di Azure, per sfruttare le capacità complete della famiglia di tecnologie Azure. È ad esempio possibile usare i dati in Azure Machine Learning o in un cluster HDInsight.

Questo è in genere il primo passaggio per le esercitazioni dettagliate su SQL e HDInsight.

Per informazioni sugli scenari classici che usano SSIS per soddisfare esigenze aziendali comuni in scenari di integrazione dei dati ibridi, vedere il blog relativo ai vantaggi offerti da SQL Server Integration Services Feature Pack for Azure .

Nota

Per un'introduzione completa all'archiviazione BLOB di Azure, vedere Informazioni di base su BLOB di Azure e Servizio BLOB di Azure.

Prerequisiti

Per eseguire le attività illustrate in questo articolo, è necessario avere configurato una sottoscrizione di Azure e un account di archiviazione di Azure. Per caricare o scaricare dati, è necessario conoscere il nome dell'account di archiviazione di Azure e la chiave dell'account.

Per usare i connettori SSISè necessario scaricare:

Nota

SSIS viene installato con SQL Server, ma non è incluso nella versione Express. Per informazioni sulle applicazioni incluse nelle diverse edizioni di SQL Server, vedere Edizioni di SQL Server

Per materiale di formazione su SSIS, vedere Risorse pratiche per la formazione su SSIS

Per informazioni su come iniziare subito a usare SSIS per creare semplici pacchetti di estrazione, trasformazione e caricamento (ETL), vedere Esercitazione SSIS: Creazione di un pacchetto ETL semplice.

Scaricare il set di dati NYC Taxi

Questo esempio usa un set di dati disponibile pubblicamente, ovvero il set di dati NYC Taxi Trips . Il set di dati è costituito da circa 173 milioni di corse su taxi a NYC nell'anno 2013. Sono disponibili due tipi di dati: i dettagli sul tragitto e i dettagli sul costo del tragitto. Poiché è disponibile un file per ogni mese, sono presenti 24 file in tutto, ognuno dei quali ha dimensioni pari a circa 2 GB, senza compressione.

Caricare dati nell'archivio BLOB di Azure

Per spostare i dati usando il Feature Pack di SSIS da una posizione locale a un archivio BLOB di Azure, usare un'istanza dell' Azure Blob Upload Task, illustrata qui:

configure-data-science-vm

I parametri usati dall'attività sono descritti di seguito:

Campo Descrizione
AzureStorageConnection Specifica un'istanza esistente di Gestione connessione dell'archiviazione di Azure o crea una nuova istanza che fa riferimento a un account di archiviazione di Azure che punta alla posizione in cui sono ospitati i file BLOB.
BlobContainer Specifica il nome del contenitore BLOB che includerà i file caricati come BLOB.
BlobDirectory Specifica la directory BLOB in cui i file caricati verranno archiviati come BLOB in blocchi. La directory BLOB è una struttura gerarchica virtuale. Se il BLOB esiste già, verrà sostituito.
LocalDirectory Specifica la directory locale che include i file da caricare.
FileName Specifica un filtro per i nomi per la selezione di file con il modello di nomi specificato. Ad esempio, MySheet*.xls* include file, quali MySheet001.xls e MySheetABC.xlsx
TimeRangeFrom/TimeRangeTo Specifica un filtro basato su un intervallo di tempo. Sono inclusi file modificati dopo TimeRangeFrom e prima di TimeRangeTo.
Nota

Le credenziali di AzureStorageConnection devono essere corrette e BlobContainer deve essere presente prima del tentativo di trasferimento.

Scaricare i dati da un archivio BLOB di Azure

Per scaricare i dati di Archiviazione BLOB di Azure in un archivio locale con SSIS, usare un'istanza di Azure Blob Upload Task.

Altri scenari avanzati di SSIS-Azure

Il Feature Pack di SSIS consente di gestire flussi più complessi creando pacchetti di attività. Ad esempio, è possibile eseguire il feed dei dati BLOB direttamente in un cluster HDInsight, il cui output può essere scaricato di nuovo in un BLOB e quindi in un archivio locale. SSIS può eseguire processi Hive e Pig in un cluster HDInsight usando connessioni SSIS aggiuntive: