Verwenden von Azure Data Factory zum Migrieren von Daten aus einem Data Lake oder Data Warehouse zu AzureUse Azure Data Factory to migrate data from your data lake or data warehouse to Azure

GILT FÜR: Azure Data Factory Azure Synapse Analytics

Wenn Sie Ihren Data Lake oder Ihr Enterprise Data Warehouse (EDW) zu Microsoft Azure migrieren möchten, können Sie Azure Data Factory verwenden.If you want to migrate your data lake or enterprise data warehouse (EDW) to Microsoft Azure, consider using Azure Data Factory. Azure Data Factory eignet sich für folgende Szenarien:Azure Data Factory is well-suited to the following scenarios:

  • Migration von Big Data-Workloads aus Amazon Simple Storage Service (AWS S3) oder einem lokalen Hadoop Distributed File System (HDFS) zu AzureBig data workload migration from Amazon Simple Storage Service (Amazon S3) or an on-premises Hadoop Distributed File System (HDFS) to Azure
  • EDW-Migration aus Oracle Exadata, Netezza, Teradata oder Amazon Redshift zu AzureEDW migration from Oracle Exadata, Netezza, Teradata, or Amazon Redshift to Azure

Mit Azure Data Factory können bei der Data Lake-Migration Daten im Petabyte-Bereich (PB) und bei der Data Warehouse-Migration mehrere Terabytes (TB) an Daten verschoben werden.Azure Data Factory can move petabytes (PB) of data for data lake migration, and tens of terabytes (TB) of data for data warehouse migration.

Warum Azure Data Factory für die Datenmigration verwendet werden kannWhy Azure Data Factory can be used for data migration

  • Mit Azure Data Factory kann die Verarbeitungsleistung problemlos hochskaliert werden, um Daten serverlos mit hoher Leistung, Resilienz und Skalierbarkeit zu verschieben.Azure Data Factory can easily scale up the amount of processing power to move data in a serverless manner with high performance, resilience, and scalability. Sie bezahlen dabei nur für das, was Sie tatsächlich nutzen.And you pay only for what you use. Beachten Sie dabei außerdem Folgendes:Also note the following:
    • Datenmenge und Dateianzahl sind bei Azure Data Factory unbegrenzt.Azure Data Factory has no limitations on data volume or on the number of files.
    • Azure Data Factory kann Ihre Netzwerk- und Speicherbandbreite vollständig ausnutzen, um in Ihrer Umgebung den höchstmöglichen Datenverschiebungsdurchsatz zu erzielen.Azure Data Factory can fully use your network and storage bandwidth to achieve the highest volume of data movement throughput in your environment.
    • Dank des nutzungsbasierten Zahlungsmodells von Azure Data Factory zahlen Sie nur für die Zeit, die tatsächlich für die Datenmigration zu Azure beansprucht wurde.Azure Data Factory uses a pay-as-you-go method, so that you pay only for the time you actually use to run the data migration to Azure.
  • Azure Data Factory kann sowohl einen einmaligen historischen Ladevorgang als auch geplante inkrementelle Ladevorgänge durchführen.Azure Data Factory can perform both a one-time historical load and scheduled incremental loads.
  • Azure Data Factory nutzt Azure Integration Runtime (IR), um Daten zwischen öffentlich zugänglichen Data Lake- und Data Warehouse-Endpunkten zu verschieben.Azure Data Factory uses Azure integration runtime (IR) to move data between publicly accessible data lake and warehouse endpoints. Von Azure Data Factory kann auch eine selbstgehostete IR verwendet werden, um Daten für Data Lake- und Data Warehouse-Endpunkte innerhalb von Azure Virtual Network (VNET) oder hinter einer Firewall zu verschieben.It can also use self-hosted IR for moving data for data lake and warehouse endpoints inside Azure Virtual Network (VNet) or behind a firewall.
  • Azure Data Factory bietet Sicherheit auf Unternehmensniveau: Sie können den Windows Installer (MSI) oder die Dienstidentität für eine sichere Dienst-zu-Dienst-Integration verwenden oder Anmeldeinformationen mithilfe von Azure Key Vault verwalten.Azure Data Factory has enterprise-grade security: You can use Windows Installer (MSI) or Service Identity for secured service-to-service integration, or use Azure Key Vault for credential management.
  • Azure Data Factory bietet eine codefreie Erstellungsumgebung sowie ein umfangreiches integriertes Überwachungsdashboard.Azure Data Factory provides a code-free authoring experience and a rich, built-in monitoring dashboard.

Online- im Vergleich zu OfflinedatenmigrationOnline vs. offline data migration

Azure Data Factory ist ein Standardtool für die Onlinedatenmigration und ermöglicht die Übertragung von Daten über ein Netzwerk (Internet, ER oder VPN).Azure Data Factory is a standard online data migration tool to transfer data over a network (internet, ER, or VPN). Bei der Offlinemigration versenden Benutzer dagegen physische Datenübertragungsgeräte von ihrer Organisation an ein Azure-Rechenzentrum.Whereas with offline data migration, users physically ship data-transfer devices from their organization to an Azure Data Center.

Bei der Entscheidung zwischen Online- und Offlinemigration gibt es drei wichtige Kriterien:There are three key considerations when you choose between an online and offline migration approach:

  • Größe der zu migrierenden DatenSize of data to be migrated
  • NetzwerkbandbreiteNetwork bandwidth
  • MigrationszeitfensterMigration window

Ein Beispiel: Angenommen, Sie möchten Ihre Datenmigration mithilfe von Azure Data Factory innerhalb von zwei Wochen (Ihr Migrationszeitfenster) abwickeln.For example, assume you plan to use Azure Data Factory to complete your data migration within two weeks (your migration window). Beachten Sie die rosafarbene/blaue Markierung in der folgenden Tabelle.Notice the pink/blue cut line in the following table. Die unterste rosafarbene Zelle einer Spalte gibt jeweils die Kombination aus Datengröße/Netzwerkbandbreite an, deren Migrationszeitfenster den zwei Wochen am nächsten kommt, ohne es zu übersteigen.The lowest pink cell for any given column shows the data size/network bandwidth pairing whose migration window is closest to but less than two weeks. (Bei den blau eingefärbten Kombinationen aus Größe/Bandbreite wird das zweiwöchige Zeitfenster für die Onlinemigration jeweils überschritten.)(Any size/bandwidth pairing in a blue cell has an online migration window of more than two weeks.)

Online oder offline Anhand dieser Tabelle können Sie auf der Grundlage der Größe Ihrer Daten und Ihrer verfügbaren Netzwerkbandbreite ermitteln, ob Sie Ihr gewünschtes Migrationszeitfenster bei einer Onlinemigration (Azure Data Factory) einhalten können.online vs. offline This table helps you determine whether you can meet your intended migration window through online migration (Azure Data Factory) based on the size of your data and your available network bandwidth. Beträgt das Zeitfenster für die Onlinemigration mehr als zwei Wochen, empfiehlt sich eine Offlinemigration.If the online migration window is more than two weeks, you'll want to use offline migration.

Hinweis

Bei der Onlinemigration können Sie mithilfe eines einzigen Tools im Rahmen eines End-to-End-Vorgangs sowohl historische Daten laden als auch inkrementelle Feeds nutzen.By using online migration, you can achieve both historical data loading and incremental feeds end-to-end through a single tool. Dadurch bleiben Ihre Daten während des gesamten Migrationszeitfensters zwischen dem vorhandenen Speicher und dem neuen Speicher synchronisiert.Through this approach, your data can be kept synchronized between the existing store and the new store during the entire migration window. Somit können Sie Ihre ETL-Logik im neuen Speicher mit aktualisierten Daten neu erstellen.This means you can rebuild your ETL logic on the new store with refreshed data.

Nächste SchritteNext steps