Utilisez Azure Data Factory pour migrer des données de votre lac de données ou de votre entrepôt de données vers AzureUse Azure Data Factory to migrate data from your data lake or data warehouse to Azure

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Si vous souhaitez migrer votre lac de données ou votre entrepôt de données d’entreprise (EDW, enterprise data warehouse) vers Microsoft Azure, envisagez d’utiliser Azure Data Factory.If you want to migrate your data lake or enterprise data warehouse (EDW) to Microsoft Azure, consider using Azure Data Factory. Azure Data Factory convient particulièrement aux scénarios suivants :Azure Data Factory is well-suited to the following scenarios:

  • Migration de charges de travail Big Data à partir d’Amazon Simple Storage Service (Amazon S3) ou d’un système de fichiers DFS hadoop (HDFS) local vers AzureBig data workload migration from Amazon Simple Storage Service (Amazon S3) or an on-premises Hadoop Distributed File System (HDFS) to Azure
  • Migration d’un EDW à partir d’Oracle Netezza, Teradata ou Amazon Redshift vers AzureEDW migration from Oracle Exadata, Netezza, Teradata, or Amazon Redshift to Azure

Azure Data Factory peut déplacer des pétaoctets (Po) de données pour la migration d’un lac de données et des dizaines de téraoctets (To) de données pour la migration d’un entrepôt de données.Azure Data Factory can move petabytes (PB) of data for data lake migration, and tens of terabytes (TB) of data for data warehouse migration.

Pourquoi Azure Data Factory peut être utilisé pour la migration de donnéesWhy Azure Data Factory can be used for data migration

  • Azure Data Factory peut facilement effectuer un scale-up de la puissance de traitement pour déplacer des données serverless en offrant des performances, une résilience et une scalabilité élevées.Azure Data Factory can easily scale up the amount of processing power to move data in a serverless manner with high performance, resilience, and scalability. De plus, vous payez uniquement pour ce que vous utilisez.And you pay only for what you use. En outre, notez les points suivants :Also note the following:
    • Azure Data Factory n’a aucune limite quant au volume de données et au nombre de fichiers.Azure Data Factory has no limitations on data volume or on the number of files.
    • Azure Data Factory peut utiliser votre réseau et votre bande passante de stockage dans leur intégralité pour obtenir le débit de déplacement de données le plus élevé dans votre environnement.Azure Data Factory can fully use your network and storage bandwidth to achieve the highest volume of data movement throughput in your environment.
    • Azure Data Factory utilise une méthode de paiement à l’utilisation. Ainsi, vous payez uniquement pour le temps réellement passé à exécuter la migration des données vers Azure.Azure Data Factory uses a pay-as-you-go method, so that you pay only for the time you actually use to run the data migration to Azure.
  • Azure Data Factory peut effectuer un chargement de données historiques unique et des chargements incrémentiels planifiés.Azure Data Factory can perform both a one-time historical load and scheduled incremental loads.
  • Azure Data Factory utilise le runtime d’intégration Azure (IR) pour déplacer des données entre des points de terminaison de lac de données et d’entrepôt de données accessibles publiquement.Azure Data Factory uses Azure integration runtime (IR) to move data between publicly accessible data lake and warehouse endpoints. Il peut également utiliser un runtime d’intégration auto-hébergé pour déplacer des données de points de terminaison de lac de données et d’entrepôt de données au sein d’un réseau virtuel Microsoft Azure ou derrière un pare-feu.It can also use self-hosted IR for moving data for data lake and warehouse endpoints inside Azure Virtual Network (VNet) or behind a firewall.
  • Azure Data Factory offre une sécurité de niveau entreprise : Vous pouvez utiliser Windows Installer (MSI) ou l’identité du service pour une intégration de service à service sécurisée ou Azure Key Vault pour la gestion des informations d’identification.Azure Data Factory has enterprise-grade security: You can use Windows Installer (MSI) or Service Identity for secured service-to-service integration, or use Azure Key Vault for credential management.
  • Azure Data Factory offre une expérience de création sans code et un tableau de bord de supervision intégré enrichi.Azure Data Factory provides a code-free authoring experience and a rich, built-in monitoring dashboard.

Migration des données en ligne et hors connexionOnline vs. offline data migration

Azure Data Factory est un outil de migration de données en ligne standard permettant de transférer des données sur un réseau (Internet, ER ou VPN).Azure Data Factory is a standard online data migration tool to transfer data over a network (internet, ER, or VPN). Son approche diffère donc de la migration de données hors connexion (les utilisateurs expédient physiquement des appareils de transfert de données de leur organisation vers un centre de données Azure).Whereas with offline data migration, users physically ship data-transfer devices from their organization to an Azure Data Center.

Vous devez prendre en compte trois points importants quand vous choisissez votre approche de migration (en ligne ou hors connexion) :There are three key considerations when you choose between an online and offline migration approach:

  • Taille des données à migrerSize of data to be migrated
  • Bande passante réseauNetwork bandwidth
  • Fenêtre de migrationMigration window

Supposons, par exemple, que vous envisagiez d’utiliser Azure Data Factory pour effectuer la migration de vos données sous deux semaines (votre fenêtre de migration).For example, assume you plan to use Azure Data Factory to complete your data migration within two weeks (your migration window). Notez la ligne de coupe rose/bleue dans le tableau suivant.Notice the pink/blue cut line in the following table. La cellule rose la plus basse d’une colonne indique la combinaison taille des données/bande passante réseau dont la fenêtre de migration est la plus proche de deux semaines (tout en restant inférieure).The lowest pink cell for any given column shows the data size/network bandwidth pairing whose migration window is closest to but less than two weeks. (Toutes les combinaisons taille/bande passante figurant dans une cellule bleue correspondent à une fenêtre de migration en ligne supérieure à deux semaines.)(Any size/bandwidth pairing in a blue cell has an online migration window of more than two weeks.)

Migration en ligne et migration hors connexion Ce tableau vous permet de savoir si vous pouvez respecter la fenêtre de migration prévue avec une migration en ligne (Azure Data Factory) en fonction de la taille de vos données et de la bande passante réseau disponible.online vs. offline This table helps you determine whether you can meet your intended migration window through online migration (Azure Data Factory) based on the size of your data and your available network bandwidth. Si la fenêtre de migration en ligne est supérieure à deux semaines, vous devrez plutôt utiliser la migration hors connexion.If the online migration window is more than two weeks, you'll want to use offline migration.

Nota

La migration de données en ligne vous permet de charger les données historiques et les flux incrémentiels de bout en bout à l’aide d’un seul outil.By using online migration, you can achieve both historical data loading and incremental feeds end-to-end through a single tool. Grâce à cette approche, vos données peuvent rester synchronisées entre le magasin existant et le nouveau magasin sur l’ensemble de la fenêtre de migration.Through this approach, your data can be kept synchronized between the existing store and the new store during the entire migration window. Ainsi, vous pouvez régénérer votre logique ETL sur le nouveau magasin avec les données actualisées.This means you can rebuild your ETL logic on the new store with refreshed data.

Étapes suivantesNext steps