Domande frequenti su Data Factory in Microsoft Fabric

Le pipeline di Azure Data Factory (ADF) e Azure Synapse mantengono una roadmap PaaS (Platform as a Service) separata. Queste due soluzioni continuano a coesistere insieme a Fabric Data Factory, che funge da offerta SaaS (Software as a Service). Le pipeline di Azure Data Factory e Synapse rimangono completamente supportate e non sono previsti piani per la deprecazione. È importante sottolineare che, per tutti i progetti futuri, è consigliabile avviarli usando Fabric Data Factory. Sono inoltre disponibili strategie per facilitare la transizione delle pipeline di ADF e Synapse a Fabric Data Factory, consentendo loro di sfruttare le nuove funzionalità di Fabric. Per altre informazioni, vedere qui.

Poiché ci impegniamo a colmare i gap di funzionalità e incorporare le solide funzionalità di orchestrazione e flusso di lavoro della pipeline di dati disponibili nelle pipeline di Azure Synapse in Azure Synapse in Fabric Data Factory, si riconosce che alcune funzionalità presenti nelle pipeline di Azure Data Factory/Synapse potrebbero essere essenziali per le proprie esigenze. Anche se si consiglia di continuare a usare le pipeline ADF/Synapse, se queste funzionalità sono necessarie, è consigliabile esplorare prima le nuove possibilità di integrazione dei dati in Fabric. Il feedback su quali funzionalità sono fondamentali per il successo è prezioso. Per facilitare questo problema, stiamo lavorando attivamente all'introduzione di una nuova funzionalità, abilitando anche la migrazione delle data factory esistenti da Azure alle aree di lavoro di Fabric.

Non viene eseguito il backport delle nuove funzionalità dalle pipeline di Infrastruttura nelle pipeline ADF/Synapse. Vengono mantenute due roadmap separate per Fabric Data Factory e ADF/Synapse. Le richieste backport vengono valutate in risposta al feedback in ingresso.

La funzione principale della pipeline di Infrastruttura è simile alla pipeline di Azure Synapse, ma usando la pipeline di Infrastruttura, gli utenti possono applicare tutte le funzionalità di analisi dei dati nella piattaforma Fabric. Differenze significative e mapping delle funzionalità tra la pipeline di Infrastruttura e la pipeline di Azure Synapse sono disponibili qui: Differenze tra Data Factory in Fabric e Azure.

Data Factory consente di risolvere scenari complessi di integrazione dei dati ed ETL con servizi di spostamento e trasformazione dei dati su scala cloud, mentre la progettazione dei dati consente di creare una casa lake, usare Apache Spark per trasformare e preparare i dati. Le differenze tra ognuna delle terminologie/esperienze di Fabric sono disponibili nella terminologia di Microsoft Fabric.

Gli aggiornamenti mensili di Fabric sono disponibili nel blog di Microsoft Fabric.

Per facilitare la transizione dei clienti a Microsoft Fabric da Azure Data Factory (ADF), offriamo una gamma di funzionalità essenziali e meccanismi di supporto. In primo luogo, forniamo un supporto completo per la maggior parte delle attività usate in Azure Data Factory all'interno di Fabric, insieme all'aggiunta di nuove attività personalizzate per le notifiche, ad esempio Le funzionalità di Teams e Outlook. I clienti possono accedere a un elenco dettagliato delle attività disponibili in Data Factory all'interno di Fabric. Sono stati inoltre introdotti i connettori Fabric Lakehouse/Warehouse in Azure Data Factory, consentendo una perfetta integrazione dei dati nell'ambiente OneLake di Fabric per i clienti di Azure Data Factory. È inoltre disponibile una guida per i clienti di Azure Data Factory che consente di eseguire il mapping delle trasformazioni esistenti del flusso di dati di mapping alle nuove trasformazioni di Dataflow Gen2. Guardando avanti, nell'ambito della roadmap, è inclusa la possibilità di montare le risorse di Azure Data Factory in Infrastruttura, consentendo ai clienti di mantenere le funzionalità delle pipeline di Azure Data Factory esistenti in Azure durante l'esplorazione di Fabric e la pianificazione di strategie di aggiornamento complete. Stiamo collaborando strettamente con i clienti e la community per determinare i modi più efficaci per supportare la migrazione delle pipeline di dati da ADF a Fabric. Come parte di questo sforzo, verrà fornita un'esperienza di aggiornamento che consente di testare le pipeline di dati correnti in Fabric tramite il processo di montaggio e aggiornamento.

Gli amministratori della capacità di Microsoft Fabric possono usare l'app Microsoft Fabric Capacity Metrics , nota anche come app per le metriche, per ottenere visibilità sulle risorse di capacità. Questa app consente agli amministratori di vedere quanto utilizzo della CPU, tempo di elaborazione e memoria vengono usati da pipeline di dati, flussi di dati e altri elementi nelle aree di lavoro abilitate per la capacità di Infrastruttura. Ottenere visibilità sulle cause dell'overload, sui tempi di domanda di picco, sull'utilizzo delle risorse e più facilmente identificare gli elementi più esigenti o più diffusi.

L'attività di Power Query all'interno di ADF condivide analogie con Dataflow Gen2, ma include funzionalità aggiuntive che consentono azioni come la scrittura in destinazioni di dati specifiche e così via. Questo confronto è più coerente con Dataflow Gen1 (flussi di dati di Power BI o flussi di dati di Power Apps). Per altre informazioni, vedere Differenze tra Dataflow Gen1 e Dataflow Gen2.

Usando il gateway dati locale, i clienti possono ora connettersi a origini dati locali usando flussi di dati e pipeline di dati (anteprima) con Data Factory in Microsoft Fabric. Per altre informazioni, vedere Come accedere alle origini dati locali in Data Factory.

Attualmente, il gateway di rete virtuale offre un metodo iniettivo per integrarsi facilmente nella rete virtuale, offrendo una solida strada per l'uso di endpoint privati per stabilire connessioni sicure agli archivi dati. È importante notare che il gateway di rete virtuale supporta solo i flussi di dati di Fabric in questo momento. Tuttavia, le prossime iniziative comprendono l'espansione delle sue funzionalità per includere pipeline di Fabric.

Fabric Data Factory consente di sviluppare pipeline che ottimizzano la velocità effettiva di spostamento dei dati per l'ambiente in uso. Queste pipeline usano completamente le risorse seguenti:

• Larghezza di banda di rete tra gli archivi dati di origine e di destinazione
• Operazioni di input/output dell'archivio dati di origine o di destinazione al secondo e larghezza di banda Questo utilizzo completo consente di stimare la velocità effettiva complessiva misurando la velocità effettiva minima disponibile con le risorse seguenti:
• Archivio dati di origine
• Archivio dati di destinazione
• La larghezza di banda di rete tra gli archivi dati di origine e di destinazione Nel frattempo, lavoriamo continuamente sulle innovazioni per migliorare la migliore velocità effettiva possibile. Attualmente, il servizio può spostare 1 TB di set di dati TPC-DI (file parquet) nella tabella Fabric Lakehouse e nel data warehouse entro 5 minuti, spostando 1B righe in meno di 1 minuto; Si noti che queste prestazioni sono solo un riferimento eseguendo il set di dati di test precedente. La velocità effettiva dipende comunque dai fattori elencati in precedenza. Inoltre, è sempre possibile moltiplicare la velocità effettiva eseguendo più attività di copia in parallelo. Ad esempio, usando il ciclo ForEach.

È possibile separare i diversi carichi di lavoro tra le aree di lavoro e usare i ruoli come membro e visualizzatore per avere un'area di lavoro per la progettazione dei dati che prepprime i dati per un'area di lavoro usata per il training di report o intelligenza artificiale. Con il ruolo visualizzatore, è quindi possibile usare i dati dell'area di lavoro di progettazione dei dati.

L'obiettivo attuale riguarda lo sviluppo attivo della funzionalità CDC all'interno di Data Factory In Fabric. Questa prossima funzionalità consente di spostare i dati tra più origini dati combinando modelli di copia diversi, tra cui modello di copia bulk/batch, modello di copia incrementale/continua (CDC) e modello di copia in tempo reale in un'esperienza 5x5.

In determinate esperienze utente, è possibile che si verifichino artefatti di sistema non destinati all'interazione. È consigliabile ignorare questi artefatti, perché alla fine verranno rimossi dalle esperienze Recupera dati in futuro.

I prezzi di Data Factory in Microsoft Fabric offrono una guida completa sul modo in cui i costi vengono calcolati per le pipeline di dati e Dataflow Gen2. Include diversi scenari di esempi di prezzi che consentono di comprendere meglio il modello di determinazione prezzi.

Le novità e le pianificazioni per Data Factory in Microsoft Fabric forniscono informazioni dettagliate sulle funzionalità future e sulle tempistiche di rilascio stimate nei prossimi mesi.

Passaggi successivi

Introduzione - Esercitazione su Data Factory