Pianificare processi U-SQL tramite SQL Server Integration Services (SSIS)

In questo documento si apprenderà come orchestrare e creare processi U-SQL usando SQL Server Integration Services (SSIS).

Importante

Azure Data Lake Analytics ritirato il 29 febbraio 2024. Altre informazioni con questo annuncio.

Per l'analisi dei dati, l'organizzazione può usare Azure Synapse Analytics o Microsoft Fabric.

Prerequisiti

Feature Pack di Azure per Integration Services include l'attività di Azure Data Lake Analytics e il componente di gestione delle connessioni di Azure Data Lake Analytics, che consente di connettersi al servizio Azure Data Lake Analytics. Per usare questa attività, assicurarsi di eseguire le operazioni seguenti:

• Scaricare e installare SQL Server Data Tools (SSDT) per Visual Studio
• Installare il Feature Pack di Azure per Integration Services (SSIS)

Attività Azure Data Lake Analytics

L'attività di Azure Data Lake Analytics consente agli utenti di inviare processi U-SQL all'account Azure Data Lake Analytics.

Informazioni su come configurare l'attività di Azure Data Lake Analytics.

È possibile ottenere lo script U-SQL da posizioni diverse tramite le attività e le funzioni predefinite di SSIS. Gli scenari seguenti illustrano come configurare gli script U-SQL per diversi casi d'uso.

Scenario 1: Usare stored procedure e funzioni con valori di tabella per chiamate a script inline

Nell'editor attività di Azure Data Lake Analytics configurare SourceType come DirectInput e inserire le istruzioni U-SQL in USQLStatement.

Per semplificare la manutenzione e la gestione del codice, inserire solo script U-SQL brevi come script inline. È ad esempio possibile chiamare stored procedure e funzioni con valori di tabella esistenti nei database U-SQL.

Articolo correlato: Come passare parametri a stored procedure

Scenario 2: Usare file U-SQL in Azure Data Lake Store

È anche possibile usare file U-SQL in Azure Data Lake Store tramite l'attività File system di Azure Data Lake Store nel Feature Pack di Azure. Questo approccio consente di usare gli script archiviati nel cloud.

Eseguire i passaggi seguenti per configurare la connessione tra l'attività File system di Azure Data Lake Store e l'attività di Azure Data Lake Analytics.

Impostare il flusso di controllo delle attività

Nella visualizzazione struttura del pacchetto SSIS aggiungere un'attività File system di Azure Data Lake Store, un contenitore del ciclo ForEach e un'attività di Azure Data Lake Analytics nel contenitore del ciclo ForEach. L'attività File system di Azure Data Lake Store consente di scaricare file U-SQL in una cartella temporanea dell'account ADLS. Il contenitore del ciclo ForEach e l'attività di Azure Data Lake Analytics consentono di inviare i file U-SQL nella cartella temporanea all'account Azure Data Lake Analytics come processo U-SQL.

Configurare l'attività File system di Azure Data Lake Store

1. Impostare Operation (Operazione) su CopyFromADLS.
2. Configurare AzureDataLakeConnection. Per altre informazioni, vedere Gestione connessioni di Azure Data Lake Store.
3. Impostare AzureDataLakeDirectory. Definire un puntatore alla cartella in cui sono archiviati gli script U-SQL. Usare il percorso relativo alla cartella radice dell'account Azure Data Lake Store.
4. Impostare Destination (Destinazione) su una cartella che memorizza nella cache gli script U-SQL scaricati. Questo percorso di cartella verrà usato nel contenitore del ciclo ForEach per l'invio di processi U-SQL.

Altre informazioni sull'attività File system di Azure Data Lake Store.

Configurare il contenitore del ciclo ForEach

1. Nella pagina Raccolta impostare Enumeratore su Enumeratore Foreach File.

2. Impostare Cartella nel gruppo Configurazione enumeratore sulla cartella temporanea che include gli script U-SQL scaricati.

3. Impostare File in Configurazione enumeratore su *.usql in modo che il contenitore del ciclo rilevi solo i file che terminano con .usql.

   

4. Nella pagina Mapping variabili aggiungere una variabile definita dall'utente per ottenere il nome per ogni file U-SQL. Impostare Indice su 0 per ottenere il nome file. In questo esempio definire una variabile denominata User::FileName. Questa variabile verrà usata per ottenere la connessione ai file degli script U-SQL e impostare il nome del processo U-SQL nell'attività di Azure Data Lake Analytics in modo dinamico.

   

Configurare l'attività di Azure Data Lake Analytics

1. Impostare SourceType su FileConnection.

2. Impostare FileConnection sulla connessione file che punta agli oggetti di file restituiti dal contenitore del ciclo ForEach.

   Per creare questa connessione file:

   1. Scegliere <Nuova connessione> ... nell'impostazione FileConnection.

   2. Impostare Tipo di utilizzo su File esistentee File sul percorso di qualsiasi file esistente.

      

   3. Nella visualizzazione Gestione connessioni fare clic con il pulsante destro del mouse sulla connessione file creata e scegliere Proprietà.

   4. Nella finestra Proprietà espandere Espressioni e impostare ConnectionString sulla variabile definita nel contenitore del ciclo ForEach, ad esempio @[User::FileName].

      

3. Impostare AzureDataLakeAnalyticsConnection sull'account Azure Data Lake Analytics a cui inviare i processi. Altre informazioni sul componente di gestione delle connessioni di Azure Data Lake Analytics.

4. Impostare altre configurazioni per i processi. Altre informazioni.

5. Usare Espressioni per impostare in modo dinamico il nome del processo U-SQL:

   1. Nella pagina Espressioni aggiungere una nuova coppia chiave-valore dell'espressione per JobName.

   2. Impostare il valore per JobName sulla variabile definita nel contenitore del ciclo ForEach, ad esempio @[User::FileName].

      

Scenario 3: Usare file U-SQL in Archiviazione BLOB di Azure

È possibile usare file U-SQL in Archiviazione BLOB di Azure tramite l'attività di download di BLOB di Azure nel Feature Pack di Azure. Questo approccio consente di usare gli script nel cloud.

I passaggi sono simili allo scenario 2: usare i file U-SQL in Azure Data Lake Store. Modificare l'attività File system di Azure Data Lake Store nell'attività di download di BLOB di Azure. Altre informazioni sull'attività di download di BLOB di Azure.

Il flusso di controllo è simile al seguente:

Scenario 4: Usare file U-SQL nel computer locale

Oltre ai file U-SQL archiviati nel cloud, è possibile usare anche file nel computer locale o file distribuiti con i pacchetti SSIS.

1. Fare clic con il pulsante destro del mouse su Gestioni connessioni nel progetto SSIS e scegliere Nuova gestione connessione.

2. Selezionare Tipo di file e selezionare Aggiungi....

3. Impostare Tipo di utilizzo su File esistente e File sul file nel computer locale.

   

4. Aggiungere attività Data Lake Analytics di Azure e:

   1. Impostare SourceType su FileConnection.
   2. Impostare FileConnection sulla connessione file creata.

5. Completare le altre configurazioni per l'attività di Azure Data Lake Analytics.

Scenario 5: Usare istruzioni U-SQL nella variabile SSIS

In alcuni casi, potrebbe essere necessario generare dinamicamente le istruzioni U-SQL. È possibile usare una variabile SSIS con un'espressione SSIS e altre attività SSIS, come Attività Script, per generare l'istruzione U-SQL in modo dinamico.

1. Aprire la finestra Dello strumento Variabili SSIS tramite il menu di primo livello delle variabili SSIS>.

2. Aggiungere una variabile SSIS e impostare il valore direttamente oppure usare l'opzione Espressione per generare il valore.

3. Aggiungere l'attività di Azure Data Lake Analytics e:

   1. Impostare SourceType su Variable.
   2. Impostare SourceVariable sulla variabile SSIS creata ora.

4. Completare le altre configurazioni per l'attività di Azure Data Lake Analytics.

Scenario 6: Passare parametri allo script U-SQL

In alcuni casi, è possibile impostare dinamicamente il valore della variabile U-SQL nello script U-SQL. La funzionalità Mapping dei parametri in Azure Data Lake Analytics Attività consente di usare questo scenario. In genere esistono due tipici casi d'uso:

• Impostare le variabili del percorso file di input e output in modo dinamico in base alla data e all'ora correnti.
• Impostare il parametro per le stored procedure.

Altre informazioni su come impostare i parametri per lo script U-SQL.

Passaggi successivi

• Eseguire pacchetti SSIS in Azure
• Feature Pack di Integration Services (SSIS) per Azure
• Pianificare processi U-SQL tramite Azure Data Factory