Migrer vers Data Factory dans Microsoft Fabric

  • Article

Data Factory dans Microsoft Fabric réunit Power Query et Azure Data Factory dans une expérience d’intégration de données moderne et de confiance qui permet aux professionnels des données et des entreprises d’extraire, de charger et de transformer des données pour leur organisation. En outre, de puissantes fonctionnalités d’orchestration des données vous permettent de créer des flux de travail de données simples et complexes qui orchestrent les étapes nécessaires à vos besoins d’intégration des données.

Concepts clés sur Data Factory dans Microsoft Fabric

  • Obtenir des données et des transformations : Dataflow Gen2 est une évolution des flux de données dans Power BI. Dataflow Gen2 est ré-architecturé pour utiliser des moteurs de calcul Fabric pour le traitement et la transformation des données. Cela permet d’ingérer et de transformer des données à n’importe quelle échelle.

  • Orchestration des données : l’utilisation de pipelines de données étant déjà courante pour les utilisateurs d’Azure Data Factory (ADF), Microsoft Fabric active les mêmes fonctionnalités d’orchestration offertes dans ADF. Dans le cadre de la version de Fabric en disponibilité générale, les pipelines de données prennent en charge la plupart des activités disponibles dans ADF.

    Reportez-vous à cette liste d’activités qui font partie des pipelines de données dans Fabric. L’activité SSIS sera ajoutée aux pipelines de données d’ici au deuxième trimestre 2024.

  • Déplacement de données prêt pour l’entreprise : qu’il s’agisse d’un déplacement de données de petite taille ou à l’échelle du pétaoctet, Data Factory fournit une plateforme de déplacement de données serverless et intelligente qui vous permet de déplacer des données entre diverses sources de données et destinations de données de manière fiable. Avec la prise en charge de plus de 170 connecteurs, Data Factory dans Microsoft Fabric vous permet de déplacer des données entre plusieurs sources de données cloud et locales et au sein de réseaux virtuels. L’optimisation intelligente du débit permet à la plateforme de déplacement de données de détecter automatiquement la taille de calcul nécessaire pour le déplacement des données.

Migrer à partir d’Azure Data Factory (ADF)

Pour permettre aux clients de procéder à une mise à niveau vers Microsoft Fabric à partir d’Azure Data Factory (ADF), nous prenons en charge les fonctionnalités suivantes :

  • Activités de pipeline de données : nous prenons en charge la plupart des activités que vous utilisez déjà dans ADF dans Data Factory dans Fabric. En outre, nous avons ajouté de nouvelles activités pour les notifications, par exemple, les activités Teams et Outlook. Reportez-vous à cette liste d’activités disponibles dans Data Factory dans Fabric.

  • Connecteur OneLake/Lakehouse dans Azure Data Factory : pour de nombreux clients ADF, vous pouvez désormais intégrer Microsoft Fabric et apporter des données dans Fabric OneLake.

  • Flux de données de mappage Azure Data Factory vers Fabric : nous fournissons ce guide pour les clients ADF qui envisagent de créer de nouvelles transformations de données dans Fabric.

    En outre, pour les clients qui envisagent de migrer leurs flux de données de mappage ADF vers Fabric, vous pouvez appliquer des exemples de code à partir de l’équipe Fabric Customer Advisory Team (Fabric CAT) pour convertir des flux de données de mappage en code Spark. Pour en savoir plus, consultez Flux de données de mappage vers Microsoft Fabric.

Dans le cadre de la feuille de route Data Factory dans Microsoft Fabric, nous travaillons à la préversion des éléments suivants d’ici au deuxième trimestre 2024 :

  • Montage d’ADF dans Fabric : cette fonctionnalité permet aux clients de monter leur ADF existant dans Microsoft Fabric. Tous les pipelines ADF fonctionnent de la même manière et continuent à s’exécuter sur Azure, tout en vous permettant d’explorer Fabric et de réaliser un plan de mise à niveau plus complet.
  • Mise à niveau des pipelines ADF vers Fabric : nous travaillons avec les clients et la communauté pour savoir comment nous pouvons prendre en charge les mises à niveau des pipelines de données d’ADF vers Fabric. Dans ce cadre, nous allons offrir une expérience de mise à niveau qui vous permet de tester vos pipelines de données existants dans Fabric à l’aide du montage et de la mise à niveau des pipelines de données.

Migrer Power BI Dataflow Gen1 vers Dataflow Gen2 dans Fabric

Dataflow Gen2 dans Fabric offre de nombreux avantages et de nouvelles fonctionnalités par rapport aux flux de données (Gen1) dans Power BI :

  • Obtenir des données à grande échelle (« Copie rapide »)
  • Transformations de données à grande échelle (à l’aide du moteur SQL Fabric Lakehouse)
  • Davantage de destinations de sortie : base de données Azure SQL, Lakehouse, entrepôt, SharePoint, bases de données KQL, etc.
  • Amélioration de l’historique et de la surveillance des actualisations
  • Expériences de création et de publication améliorées.

Nous encourageons les clients à commencer à tester Dataflow Gen2, soit pour recréer des scénarios Dataflow Gen1 existants, soit pour essayer de nouveaux scénarios. Les commentaires précoces sur Dataflow Gen2 nous aideront à faire évoluer et mûrir les fonctionnalités de produit.

Nous avons quelques options pour recréer vos flux de données Gen1 en tant que Dataflow Gen2 :

  • Exportez des requêtes Dataflow Gen1 et importez-les dans Dataflow Gen2 : vous pouvez désormais exporter des requêtes dans les expériences de création de flux de données et Dataflow Gen2 et les enregistrer dans des fichiers PQT que vous pouvez ensuite importer dans Dataflow Gen2. Pour plus d’informations, consultez Utiliser la fonctionnalité de modèle d’exportation.
  • Copiez et collez dans Power Query : si vous avez un flux de données dans Power BI ou Power Apps, vous pouvez copier vos requêtes et les coller dans l’expérience de modification de votre artefact Dataflow Gen2. Cette fonctionnalité vous permet de migrer votre flux de données vers Gen2 sans avoir à réécrire vos requêtes. Pour plus d’informations, consultez Copier et coller des requêtes de flux de données Gen1 existantes.

Reportez-vous également à l’article suivant pour plus d’informations : Différences entre Dataflow Gen1 et Gen2

Contenu connexe