Cet article fournit des réponses aux questions les plus fréquentes sur Data Factory dans Microsoft Fabric.
Quel est l’avenir des pipelines Azure Data Factory (ADF) et Synapse ?
Les pipelines Azure Data Factory (ADF) et Azure Synapse gèrent une feuille de route PaaS (platform as a service) distincte. Ces deux solutions continuent de coexister avec Fabric Data Factory, qui sert d’offre SaaS (software as a service). Les pipelines ADF et Synapse restent entièrement pris en charge, et aucune dépréciation n’est prévue. Il est important de souligner que, pour tous les projets à venir, notre suggestion consiste à les lancer à l’aide de Fabric Data Factory. En outre, nous avons des stratégies en place pour faciliter la transition des pipelines ADF et Synapse vers Fabric Data Factory, leur permettant de tirer parti des nouvelles fonctionnalités de Fabric.
Étant donné les lacunes de fonctionnalités dans Data Factory pour Fabric, quelles sont les raisons de choisir Data Factory plutôt que des pipelines ADF / Synapse ?
Nous nous efforçons de combler les lacunes de fonctionnalités et d’incorporer les capacités robustes de pipeline de données et de workflow offertes par les pipelines ADF / Azure Synapse dans Fabric Data Factory, et nous reconnaissons que certaines fonctionnalités présentes dans les pipelines ADF / Synapse peuvent être essentielles pour vos besoins. Bien que nous vous encouragions à continuer à utiliser des pipelines ADF / Synapse si ces fonctionnalités sont nécessaires, nous vous conseillons d’explorer d’abord les nouvelles possibilités d’intégration de données offertes par Fabric. Vos commentaires sur les fonctionnalités qui sont essentielles pour votre réussite sont inestimables. Pour faciliter cela, nous travaillons activement à l’introduction d’une nouvelle fonctionnalité permettant la migration de vos fabriques de données existantes d’Azure vers des espaces de travail Fabric.
Les nouvelles fonctionnalités de Fabric Data Factory sont-elles également disponibles dans ADF/Synapse ?
Nous ne rétroportons pas les nouvelles fonctionnalités de pipelines Fabric dans des pipelines ADF /Synapse. Nous maintenons deux feuilles de route distinctes pour Fabric Data Factory et ADF/Synapse. Nous évaluons les demandes de rétroportage en réponse aux commentaires reçus.
Un pipeline Fabric est-il identique à un pipeline Azure Synapse ?
La fonction principale du pipeline Fabric est similaire à celle du pipeline Azure Synapse, mais avec un pipeline Fabric les utilisateurs peuvent appliquer toutes les capacités d’analytique données de la plateforme Fabric. Les différences notables et les mappages de fonctionnalités entre les pipelines Fabric et les pipelines Azure Synapse sont disponibles ici : Différences entre Data Factory dans Fabric et Azure.
Quelle est la différence entre les onglets Fabrique de données et Engineering données dans Fabric ?
Data Factory vous aide à résoudre des scénarios ETL et d’intégration de données complexes avec des services de déplacement et de transformation de données à l’échelle du cloud, tandis que l’engineering données vous aide à créer un lakehouse et à utiliser Apache Spark pour transformer et préparer vos données. Les différences entre chacune des terminologies/expériences Fabric sont disponibles dans Terminologie Microsoft Fabric.
Où puis-je trouver les mises à jour mensuelles disponibles dans Fabric ?
Les mises à jour mensuelles de Fabric sont disponibles sur le blog Microsoft Fabric.
Comment faire pour migrer des pipelines existants d’Azure Data Factory ou d’un espace de travail Azure Synapse vers Fabric Data Factory ?
Actuellement, la seule méthode disponible consiste à recréer les pipelines dans Fabric Data Factory. Nous développons avec diligence une nouvelle fonctionnalité permettant aux utilisateurs de superviser et de gérer efficacement les pipelines Fabric et ADF au sein de la plateforme Fabric. Cette nouvelle fonctionnalité innovante garantit non seulement la conservation transparente de la continuité des produits, mais permet également aux utilisateurs de se plonger dans les fonctionnalités améliorées offertes par les capacités d’intégration de données de Fabric.
Comment suivre et superviser la capacité de Fabric utilisée avec les pipelines ?
Les administrateurs de capacité Microsoft Fabric peuvent utiliser l’application Métriques de capacité Microsoft Fabric, également appelée application de métriques, pour obtenir une visibilité sur les ressources de capacité. Cette application permet aux administrateurs de voir quel pourcentage du processeur et combien de temps de traitement et de mémoire sont utilisés par des pipelines de données, des flux de données et d’autres éléments dans leurs espaces de travail avec capacité Fabric. Obtenez une visibilité sur les causes de surcharge, les pics de demande, la consommation des ressources et bien plus encore, et identifiez facilement les éléments les plus exigeants ou les plus populaires.
Le flux de données Gen2 Fabric est-il similaire à Power Query incorporé dans Azure Data Factory ?
L’activité Power Query dans ADF partage des similitudes avec Dataflow Gen2, mais elle offre des fonctionnalités supplémentaires qui permettent d’effectuer des actions telles que l’écriture dans des destinations de données spécifiques. Cette comparaison s’aligne plus justement sur Dataflow Gen1 (flux de données Power BI ou flux de données Power Apps). Pour plus de détails, consultez cette page : Différences entre Dataflow Gen1 et Dataflow Gen2.
Comment puis-je me connecter à des sources de données locales dans Fabric Data Factory ?
Notre objectif actuel comprend le développement actif de la prise en charge du pipeline Fabric au sein de la passerelle de données locale. Cette capacité à venir vous permet d’exploiter en toute transparence les pipelines Fabric pour un accès direct aux données locales. Tant que cette fonctionnalité n’est pas disponible, une solution de contournement viable est possible : vous pouvez utiliser le flux de données Fabric pour transférer des données vers le stockage cloud, puis utiliser le pipeline Fabric pour faciliter le déplacement des données vers votre destination souhaitée. Cela garantit une transition fluide jusqu’à ce que l’intégration de la passerelle de données locale soit disponible.
Est-il possible de se connecter à des ressources avec point de terminaison privé existantes dans Fabric Data Factory ?
Actuellement, la passerelle de réseau virtuel offre une méthode injective pour une intégration transparente à votre réseau virtuel, ce qui permet d’utiliser des points de terminaison privés pour établir des connexions sécurisées à vos magasins de données. Il est important de noter que la passerelle de réseau virtuel ne prend en charge que les flux de données Fabric pour l’instant. Toutefois, nos prochaines initiatives comprennent l’expansion de ses capacités de manière à englober les pipelines Fabric.
Avec quelle rapidité puis-je ingérer des données dans des pipelines de données Fabric ?
Fabric Data Factory vous permet de développer des pipelines qui optimisent le débit des déplacements de données pour votre environnement. Ces pipelines utilisent pleinement les ressources suivantes :
- Bande passante réseau entre les magasins de données source et de destination
- Bande passante et opérations par seconde (IOPS) d’entrée/sortie du magasin de données source ou de destination. Cette utilisation complète signifie que vous pouvez estimer le débit global en mesurant le débit minimal disponible avec les ressources suivantes :
- Magasin de données source
- Banque de données de destination
- Bande passante réseau entre les magasins de données source et de destination. En attendant, nous travaillons en permanence sur des innovations visant à optimiser le débit que vous pouvez obtenir. Aujourd’hui, le service peut déplacer un jeu de données TPC-DI de 1 To (fichiers Parquet) dans une table Fabric Lakehouse et dans Data Warehouse en cinq minutes, et déplacer un milliard de lignes en moins d’une minute. Notez que ces performances ne constituent qu’une référence, obtenue en exécutant le jeu de données de test ci-dessus. Le débit réel dépend toujours des facteurs listés plus haut. En outre, vous pouvez toujours multiplier votre débit en exécutant plusieurs activités de copie en parallèle, par exemple en utilisant une boucle ForEach.
Quelle est l’approche recommandée pour l’attribution de rôles dans Fabric Data Factory ?
Vous pouvez séparer les différentes charges de travail sur plusieurs espaces de travail, et utiliser les rôles tels que Membre et Lecteur afin d’avoir un espace de travail pour l’engineering données qui prépare les données pour un espace de travail utilisé pour la création de rapports ou l’entraînement d’IA. Avec le rôle Lecteur, vous pouvez ensuite consommer des données à partir de l’espace de travail d’engineering données.