Förklara Azure Data Factory transformeringsmetoder

Slutförd

Precis som Azure Data Factory en mängd olika metoder för att mata in data, innehåller det också en mängd olika metoder för att utföra transformningar. Du kan välja en metod som matchar kompetensuppsättningarna i ditt team eller dra nytta av befintlig teknik som du redan har i din datae egendom. Det finns också möjlighet att utföra transformationer utan att skriva kod alls med hjälp av Flow.

Transformera data med mappning av Flow

Mappning av dataflöden är en miljö där du kan skapa en mängd olika datatransformationer visuellt utan att behöva använda kod. De resulterande dataflöden som skapas körs sedan på utskalade Apache Spark-kluster som etableras automatiskt när du kör mappningsdata Flow. Mappning av dataflöden ger också möjlighet att övervaka körningen av omvandlingarna så att du kan se hur omvandlingarna fortskrider eller förstå eventuella fel som kan uppstå

Transformera data med hjälp av beräkningsresurser

Azure Data Factory kan också anropa beräkningsresurser för att transformera data med en dataplattformstjänst som passar bättre för jobbet. Ett bra exempel på detta är att Azure Data Factory kan skapa en pipeline till en analysdataplattform som Spark-pooler i en Azure Synapse Analytics-instans för att utföra en komplex beräkning med python. Ett annat exempel kan vara att skicka data till en Azure SQL Database-instans för att köra en lagrad procedur med hjälp av Transact-SQL. Det finns en mängd olika beräkningsresurser och de associerade aktiviteter som de kan utföra enligt följande tabell:

Compute-miljö activities
HDInsight-kluster på begäran eller ditt eget HDInsight-kluster Hive, Pig, Spark, MapReduce, Hadoop Streaming
Azure Batch Anpassade aktiviteter
Azure Machine Learning Studio Machine Learning aktiviteter: Batchkörning och uppdateringsresurs
Azure Machine Learning Azure Machine Learning Kör pipeline
Azure Data Lake Analytics Data Lake Analytics U-SQL
Azure SQL, Azure SQL Data Warehouse, SQL Server Lagrad procedur
Azure Databricks Notebook, Jar, Python
Azure-funktion Azure Function-aktivitet

Transformera data med hjälp SQL Server SSIS-paket (Integration Services)

Många organisationer har årtionden av utvecklingsinvesteringar i SSIS-paket som innehåller både inmatnings- och transformeringslogik från lokala datalager och molndatalager. Azure Data Factory ger möjlighet att lyfta och flytta befintlig SSIS-arbetsbelastning genom att skapa en Azure-SSIS Integration Runtime för att köra SSIS-paket inbyggt. Med Azure-SSIS Integration Runtime kan du distribuera och hantera dina befintliga SSIS-paket med liten eller ingen ändring med hjälp av välbekanta verktyg som SQL Server Data Tools (SSDT) och SQL Server Management Studio (SSMS), precis som när du använder SSIS lokalt.