Gebruik Azure Data Factory om gegevens te migreren van uw data lake of datawarehouse naar Azure

  • Artikel
  • 2 minuten om te lezen

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Als u uw data lake datawarehouse of enterprise datawarehouse (EDW) wilt migreren naar Microsoft Azure, kunt u overwegen om Azure Data Factory. Azure Data Factory is geschikt voor de volgende scenario's:

  • Workloadmigratie van big data van Amazon Simple Storage Service (Amazon S3) of een on-premises Hadoop Distributed File System (HDFS) naar Azure
  • EDW-migratie van Oracle Exadata, Netezza, Teradata of Amazon Redshift naar Azure

Azure Data Factory kunt petabytes (PB) aan gegevens verplaatsen voor data lake-migratie en tientallen terabytes (TB) aan gegevens voor de migratie van datawarehouses.

Waarom Azure Data Factory kunnen worden gebruikt voor gegevensmigratie

  • Azure Data Factory kunt eenvoudig de hoeveelheid verwerkingskracht omhoog schalen om gegevens op een serverloze manier te verplaatsen met hoge prestaties, tolerantie en schaalbaarheid. En u betaalt alleen voor wat u gebruikt. Let ook op het volgende:
    • Azure Data Factory heeft geen beperkingen voor het gegevensvolume of het aantal bestanden.
    • Azure Data Factory kunt uw netwerk- en opslagbandbreedte volledig gebruiken om de hoogste doorvoer voor gegevensverloop in uw omgeving te bereiken.
    • Azure Data Factory maakt gebruik van een methode voor betalen per gebruik, zodat u alleen betaalt voor de tijd die u daadwerkelijk gebruikt om de gegevensmigratie naar Azure uit te voeren.
  • Azure Data Factory kunnen zowel een een historische als geplande incrementele belasting uitvoeren.
  • Azure Data Factory maakt gebruik van Azure Integration Runtime (IR) om gegevens te verplaatsen tussen openbaar toegankelijke data lake en warehouse-eindpunten. Het kan ook zelf-hostende IR gebruiken voor het verplaatsen van gegevens voor data lake- en warehouse-eindpunten binnen Azure Virtual Network (VNet) of achter een firewall.
  • Azure Data Factory heeft beveiliging op bedrijf niveau: u kunt Windows Installer (MSI) of Service Identity gebruiken voor beveiligde service-naar-service-integratie of Azure Key Vault gebruiken voor referentiebeheer.
  • Azure Data Factory biedt een ontwerpervaring zonder code en een uitgebreid, ingebouwd bewakingsdashboard. 

Online versus offline gegevensmigratie

Azure Data Factory is een standaardhulpprogramma voor online gegevensmigratie om gegevens over te dragen via een netwerk (internet, ER of VPN). Bij offline gegevensmigratie verzenden gebruikers fysiek apparaten voor gegevensoverdracht van hun organisatie naar een Azure-datacenter.

Er zijn drie belangrijke overwegingen wanneer u kiest tussen een online- en offlinemigratiebenadering:

  • Grootte van de gegevens die moeten worden gemigreerd
  • Netwerkbandbreedte
  • Migratievenster

Stel bijvoorbeeld dat u van plan bent om Azure Data Factory gegevensmigratie binnen twee weken (uw migratievenster) te voltooien. Let op de roze/blauwe kniplijn in de volgende tabel. De laagste roze cel voor een bepaalde kolom toont de gegevensgrootte/netwerkbandbreedte koppelen waarvan het migratievenster het dichtst bij maar minder dan twee weken ligt. (Elke grootte/bandbreedte koppelen in een blauwe cel heeft een onlinemigratievenster van meer dan twee weken.)

online versus offline Aan de hand van deze tabel kunt u bepalen of u via onlinemigratie (Azure Data Factory) kunt voldoen aan het beoogde migratievenster op basis van de grootte van uw gegevens en de beschikbare netwerkbandbreedte. Als het venster voor onlinemigratie langer dan twee weken is, kunt u het beste offlinemigratie gebruiken.

Notitie

Met behulp van onlinemigratie kunt u zowel historische gegevens laden als incrementele feeds end-to-end bereiken via één hulpprogramma. Via deze methode kunnen uw gegevens gesynchroniseerd worden gehouden tussen de bestaande en de nieuwe opslag tijdens het hele migratievenster. Dit betekent dat u uw ETL-logica voor het nieuwe winkel kunt herbouwen met vernieuwde gegevens.

Volgende stappen