Pianificare la gestione dei costi per Azure Data Factory

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi completa per le aziende. Microsoft Fabric copre tutti gli elementi, dallo spostamento dei dati all'analisi scientifica dei dati, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Scopri come avviare gratuitamente una nuova versione di valutazione .

Questo articolo descrive come pianificare e gestire i costi per Azure Data Factory.

Prima di tutto, all'inizio del progetto ETL si usa una combinazione dei prezzi di Azure e dei calcolatori prezzi e consumo per pipeline per pianificare i costi di Azure Data Factory prima di aggiungere risorse per il servizio per stimare i costi. Dopo aver aggiunto le risorse di Azure, esaminare i costi stimati. Dopo aver iniziato a usare le risorse di Azure Data Factory, usare le funzionalità di Gestione costi per impostare i budget e monitorare i costi. È anche possibile esaminare i costi previsti e identificare le tendenze di spesa per identificare le aree in cui si potrebbe voler agire. I costi per Azure Data Factory sono solo una parte dei costi mensili nella fattura di Azure. Si noti che questo articolo illustra solo come pianificare e gestire i costi per la data factory. Vengono addebitati tutti i servizi e le risorse di Azure usati nella sottoscrizione di Azure, inclusi i servizi di terze parti.

Prerequisiti

L'analisi dei costi in Gestione costi supporta la maggior parte dei tipi di account di Azure, ma non tutti. Per visualizzare l'elenco completo dei tipi di account supportati, vedere Informazioni sui dati di Gestione costi. Per visualizzare i dati dei costi, è necessario almeno l'accesso in lettura per un account Azure. Per informazioni sull'assegnazione dell'accesso ai dati di Gestione costi di Azure, vedere Assegnare l'accesso ai dati.

Stimare i costi prima di usare Azure Data Factory

Usare il calcolatore prezzi di Azure Data Factory per ottenere una stima del costo dell'esecuzione del carico di lavoro ETL in Azure Data Factory. Per usare il calcolatore, è necessario immettere i dettagli, ad esempio il numero di esecuzioni di attività, il numero di ore di unità di integrazione dei dati, il tipo di calcolo usato per Flusso di dati, il numero di core, il numero di istanze, la durata dell'esecuzione e così via.

Una delle domande più frequenti sul calcolatore prezzi riguarda i valori da usare come input. Durante la fase di verifica, è possibile avviare esecuzioni di prova usando set di dati di esempio per comprendere il consumo per diversi contatori di Azure Data Factory. In base all'utilizzo per il set di dati di esempio, è quindi possibile proiettare il consumo per il set di dati completo e la pianificazione operativa.

Nota

I prezzi utilizzati in questo esempio di seguito sono ipotetici e non sono destinati a implicare prezzi effettivi.

Ad esempio, si immagini di dover spostare ogni giorno 1 TB di dati da AWS S3 ad Azure Data Lake Gen2. È possibile eseguire un modello di verifica del trasferimento di 100 GB di dati per misurare la velocità effettiva di inserimento dati e comprendere il consumo di fatturazione corrispondente.

Ecco un esempio di dettaglio dell'esecuzione dell'attività di copia( il chilometraggio effettivo varia in base alla forma del set di dati specifico, alla velocità di rete, ai limiti in uscita per l'account S3, ai limiti di ingresso per ADLS Gen2 e ad altri fattori).

Usando il monitoraggio del consumo a livello di esecuzione della pipeline, è possibile visualizzare le quantità di consumo del contatore dello spostamento dati corrispondenti:

Pertanto, il numero totale di ore DIU necessarie per spostare 1 TB al giorno per l'intero mese è:

1,2667 (ore DIU) * (1 TB/100 GB) * 30 (giorni in un mese) = 380 ore DIU

Ora è possibile inserire 30 esecuzioni attività e 380 ore DIU nel calcolatore prezzi di Azure Data Factory per ottenere una stima della fattura mensile:

Informazioni sul modello di fatturazione completo per Azure Data Factory

Azure Data Factory viene eseguito nell'infrastruttura di Azure che accumula costi quando si distribuiscono nuove risorse. È importante comprendere che altri costi aggiuntivi dell'infrastruttura potrebbero accumularsi.

Come vengono addebitati i costi per Azure Data Factory

Azure Data Factory è un servizio di integrazione dei dati serverless ed elastico creato per la scalabilità al cloud. Non esiste un calcolo a dimensione fissa che è necessario pianificare il carico di picco; specificare invece la quantità di risorse da allocare su richiesta per ogni operazione, che consente di progettare i processi ETL in modo molto più scalabile. Inoltre, Azure Data Factory viene fatturato in base a un piano a consumo, con il quale si paga solo per le risorse usate.

Quando si creano o si usano le risorse di Azure Data Factory, è possibile che vengano addebitati i contatori seguenti:

• Esecuzioni di attività di orchestrazione: viene addebitato il costo in base al numero di esecuzioni di attività orchestrate.
• Integrazione dei dati ore di unità (DIU): per le attività di copia eseguite nel runtime di integrazione di Azure, vengono addebitati costi in base al numero di unità di distribuzione usate e alla durata dell'esecuzione.
• Ore vCore: per l'esecuzione e il debug del flusso di dati, vengono addebitati costi in base al tipo di calcolo, al numero di vCore e alla durata dell'esecuzione.

Al termine del ciclo di fatturazione, vengono sommati i costi per ogni contatore. La fattura o la fattura mostra una sezione per tutti i costi di Azure Data Factory. È presente una voce separata per ogni contatore.

Altri costi che potrebbero accumulare con Azure Data Factory

Quando si creano risorse per Azure Data Factory (ADF), vengono create anche le risorse per altri servizi di Azure. che includono:

• Esecuzione dell'attività della pipeline
• Esecuzione dell'attività della pipeline esterna
• Creazione/modifica/recupero/monitoraggio degli artefatti della data factory
• Durata del runtime di integrazione SSIS in base al tipo di istanza e alla durata

Nota

È possibile assegnare lo stesso tag a Azure Data Factory e ad altre risorse di Azure, inserendoli nella stessa categoria per visualizzare la fatturazione consolidata. Il tag ADF verrà ereditato da tutti gli IR SSIS in esso contenuti. Se si modifica il tag ADF, è necessario arrestare e riavviare tutti gli IR SSIS nel tag per ereditare il nuovo tag, vedere La sezione Riconfigurare SSIS IR .

Uso del pagamento anticipato di Azure con Azure Data Factory

È possibile pagare gli addebiti di Azure Data Factory con il credito di pagamento anticipato di Azure. Tuttavia, non è possibile usare il credito del pagamento anticipato di Azure per pagare gli addebiti di prodotti e servizi di terze parti, inclusi quelli di Azure Marketplace.

Monitorare i costi

I costi di Azure Data Factory possono essere monitorati a livello di factory, pipeline, esecuzione della pipeline e esecuzione di attività.

Monitorare i costi a livello di factory con l'analisi dei costi

Quando si usano le risorse di Azure con Data Factory, si comportano costi. I costi delle unità di utilizzo delle risorse di Azure variano in base a intervalli di tempo (secondi, minuti, ore e giorni) o per utilizzo unità (byte, megabyte e così via). Non appena viene avviato l'uso di Data Factory, i costi vengono sostenuti ed è possibile visualizzare i costi nell'analisi dei costi.

Quando si usa l'analisi dei costi, i costi di Data Factory vengono visualizzati in grafici e tabelle per intervalli di tempo diversi. Alcuni esempi sono per giorno, mese corrente e precedente e anno. È anche possibile visualizzare i costi in base ai budget e ai costi previsti. Il passaggio a visualizzazioni più lunghe nel tempo consente di identificare le tendenze di spesa. E si vede dove potrebbe essersi verificato l'overspending. Se sono stati creati budget, è anche possibile vedere facilmente dove vengono superati.

Per visualizzare i costi di Data Factory nell'analisi dei costi:

1. Accedere al portale di Azure.
2. Aprire l'ambito nel portale di Azure e selezionare Analisi dei costi nel menu. Passare ad esempio a Sottoscrizioni, selezionare una sottoscrizione nell'elenco e quindi selezionare Analisi dei costi nel menu. Selezionare Ambito per passare a un ambito diverso nell'analisi dei costi.
3. Per impostazione predefinita, i costi per i servizi vengono visualizzati nel primo grafico ad anello. Selezionare l'area nel grafico con etichetta Azure Data Factory v2.

I costi mensili effettivi vengono visualizzati quando si apre inizialmente l'analisi dei costi. Ecco un esempio che mostra tutti i costi di utilizzo mensili.

• Per limitare i costi per un singolo servizio, ad esempio Data Factory, selezionare Aggiungi filtro e quindi selezionare Nome servizio. Selezionare quindi Azure Data Factory v2.

Ecco un esempio che mostra i costi solo per Data Factory.

Nell'esempio precedente viene visualizzato il costo corrente per il servizio. Vengono visualizzati anche i costi in base alle aree di Azure (località) e ai costi di Data Factory per gruppo di risorse. Da qui è possibile esplorare i costi autonomamente.

Monitorare i costi a livello di pipeline con Analisi dei costi

In alcuni casi, è possibile che si desideri una suddivisione granulare dei costi delle operazioni all'interno della fabbrica, ad esempio, a scopo di chargeback. L'integrazione della piattaforma di analisi dei costi di fatturazione di Azure, Data Factory può separare gli addebiti di fatturazione per ogni pipeline. Optando per la creazione di report di fatturazione dettagliati di Azure Data Factory per una factory, è possibile comprendere meglio quanto costa ogni pipeline, all'interno della factory indicata in precedenza.

È necessario acconsentire esplicitamente a ogni factory per cui si vuole ottenere la fatturazione dettagliata. Per attivare la funzionalità di fatturazione dettagliata per ogni pipeline,

1. Passare al portale di Azure Data Factory
2. Nella scheda Gestisci selezionare Impostazione factory nella sezione Generale
3. Selezionare Visualizzazione del report di fatturazione per pipeline
4. Pubblicare la modifica

Nota

Le impostazioni di fatturazione dettagliate della pipeline non sono incluse nei modelli di Resource Manager esportati dalla factory. Ciò significa che l'integrazione continua e il recapito (CI/CD) non sovrascriveranno i comportamenti di fatturazione per la factory. In questo modo è possibile impostare comportamenti di fatturazione diversi per le factory di sviluppo, test e produzione.

Una volta abilitata la funzionalità, ogni pipeline avrà una voce separata nel report di fatturazione: mostra esattamente la quantità di costi di ogni pipeline nell'intervallo di tempo selezionato. Consente di identificare le tendenze di spesa e di notare l'overspending, se presente.

Usando gli strumenti di analisi dei costi, si ottengono grafici e linee di tendenza simili, come illustrato in precedenza, ma per le singole pipeline. È anche possibile ottenere la visualizzazione di riepilogo in base al nome della factory, perché il nome della factory è incluso nel report di fatturazione, consentendo un filtro appropriato quando necessario.

La modifica influisce solo sul modo in cui le fatture vengono generate in futuro e non cambiano gli addebiti precedenti. Attendere il popolamento della modifica nel report di fatturazione: in genere, la modifica viene riflessa entro 1 giorno.

Avviso

Accettando esplicitamente l'impostazione per ogni impostazione di fatturazione, sarà presente una voce per ogni pipeline nella factory. Tenere presente in particolare se si dispone di una quantità eccessiva di pipeline nella factory, in quanto potrebbe aumentare significativamente e complicare il report di fatturazione.

Limiti

Di seguito sono riportate le limitazioni note delle funzionalità di fatturazione per ogni pipeline. Questi contatori di fatturazione non verranno inseriti nella pipeline che lo spinse, ma verranno invece inseriti in un elemento della riga di fallback per la factory.

• Addebiti per le operazioni di Data Factory, tra cui lettura/scrittura e monitoraggio
• Addebiti per i nodi di SQL Server Integration Services (SSIS) di Azure Data Factory
• Se è stata configurata la durata (TTL) per Azure Integration Runtime (Azure IR), Flusso di dati attività eseguite in questo runtime di integrazione non verranno archiviate in singole pipeline.

Monitorare l'utilizzo a livello di esecuzione della pipeline in Azure Data Factory

A seconda dei tipi di attività presenti nella pipeline, della quantità di dati in movimento e trasformazione e della complessità della trasformazione, l'esecuzione di una pipeline spinerà contatori di fatturazione diversi in Azure Data Factory.

È possibile visualizzare la quantità di consumo per contatori diversi in relazione a singole esecuzioni di pipeline nell'esperienza utente di Azure Data Factory. Per aprire l'esperienza di monitoraggio, selezionare il riquadro Monitoraggio e gestione nel pannello Data factory del portale di Azure. Se si è già nell'esperienza utente di Azure Data Factory, selezionare l'icona Monitoraggio sulla barra laterale sinistra. La visualizzazione di monitoraggio predefinita è l'elenco delle esecuzioni di pipeline.

Facendo clic sul pulsante Consumo accanto al nome della pipeline verrà visualizzata una finestra popup che mostra il consumo dell'esecuzione della pipeline aggregata in tutte le attività all'interno della pipeline.

La visualizzazione consumo dell'esecuzione della pipeline mostra la quantità utilizzata per ogni contatore di Azure Data Factory per l'esecuzione della pipeline specifica, ma non mostra il prezzo effettivo addebitato, perché l'importo fatturato dipende dal tipo di account Azure in uso e dal tipo di valuta usato. Per visualizzare l'elenco completo dei tipi di account supportati, vedere Informazioni sui dati di Gestione costi.

Monitorare l'utilizzo a livello di esecuzione delle attività in Azure Data Factory

Una volta compreso il consumo aggregato a livello di esecuzione della pipeline, esistono alcune situazioni in cui è necessario eseguire ulteriormente il drill-down per identificare l'attività più costosa all'interno della pipeline.

Per visualizzare il consumo al livello di esecuzione dell'attività, selezionare il riquadro Crea e monitora nel pannello Data factory. Nella scheda Monitoraggio in cui viene visualizzato un elenco di esecuzioni della pipeline selezionare il collegamento nome della pipeline per accedere all'elenco di esecuzioni di attività nell'esecuzione della pipeline. Selezionare il pulsante Output accanto al nome dell'attività e cercare la proprietà billableDuration nell'output JSON:

Ecco un esempio di esecuzione di un'attività di copia:

Di seguito è riportato un esempio di esecuzione dell'attività Mapping Flusso di dati:

Creare i budget

È possibile creare budget per gestire i costi e creare avvisi per informare automaticamente gli stakeholder in caso di anomalie di spesa e rischi di costi eccessivi. Gli avvisi si basano sul confronto tra la spesa e le soglie definite budget e costi. I budget e gli avvisi vengono creati per le sottoscrizioni e i gruppi di risorse di Azure, quindi sono utili come parte di una strategia di monitoraggio dei costi complessiva.

I budget possono essere creati con filtri per risorse o servizi specifici in Azure se si vuole una maggiore granularità nel monitoraggio. I filtri consentono di assicurarsi di non creare accidentalmente nuove risorse che costano denaro aggiuntivo. Per altre informazioni sulle opzioni di filtro disponibili quando si crea un budget, vedere Opzioni di raggruppamento e filtro.

Esportare i dati relativi ai costi

È anche possibile esportare i dati sui costi in un account di archiviazione. Ciò è utile quando è necessario o altri utenti per eseguire altre analisi dei dati per i costi. Ad esempio, i team finanziari possono analizzare i dati usando Excel o Power BI. È possibile esportare i costi in base a una pianificazione giornaliera, settimanale o mensile e impostare un intervallo di date personalizzato. L'esportazione dei dati sui costi è il modo consigliato per recuperare i set di dati dei costi.

Contenuto correlato

• Informazioni su come ottimizzare l'investimento nel cloud con Gestione costi di Azure.
• Altre informazioni sulla gestione dei costi con l'analisi dei costi.
• Informazioni su come evitare costi imprevisti.
• Seguire il corso di apprendimento guidato gestione costi.
• Pagina dei prezzi di Azure Data Factory
• Determinazione dei prezzi di Azure Data Factory ed esempi
• Calcolatore prezzi di Azure Data Factory