Välja en orkestreringsteknik för datapipeline i Azure

De flesta stordatalösningar består av upprepade databearbetningsåtgärder, inkapslade i arbetsflöden. En pipelineorkestrerare är ett verktyg som hjälper till att automatisera dessa arbetsflöden. En initierare kan schemalägga jobb, köra arbetsflöden och samordna beroenden mellan uppgifter.

Vilka alternativ har du för datapipelineorkestrering?

I Azure uppfyller följande tjänster och verktyg de grundläggande kraven för pipelineorkestrering, kontrollflöde och dataförflyttning:

• Azure Data Factory
• Oozie på HDInsight
• SQL Server Integration Services (SSIS)

Dessa tjänster och verktyg kan användas oberoende av varandra eller användas tillsammans för att skapa en hybridlösning. Till exempel kan Integration Runtime (IR) i Azure Data Factory V2 köra SSIS-paket inbyggt i en hanterad Azure-beräkningsmiljö. Även om funktionerna mellan dessa tjänster överlappar varandra finns det några viktiga skillnader.

Viktiga urvalskriterier

Börja med att besvara de här frågorna för att begränsa alternativen:

• Behöver du stordatafunktioner för att flytta och transformera dina data? Detta innebär vanligtvis flera gigabyte till terabyte data. Om ja, begränsar du alternativen till de alternativ som passar bäst för stordata.

• Behöver du en hanterad tjänst som kan användas i stor skala? Om ja, välj en av de molnbaserade tjänsterna som inte begränsas av din lokala bearbetningskraft.

• Finns några av dina datakällor lokalt? Om ja, leta efter alternativ som kan fungera med både molnbaserade och lokala datakällor eller mål.

• Lagras dina källdata i Blob Storage i ett HDFS-filsystem? I så fall väljer du ett alternativ som stöder Hive-frågor.

Kapacitetsmatris

I följande tabeller sammanfattas de viktigaste skillnaderna i funktioner.

Allmänna funktioner

Pipelinefunktioner

Skalbarhetsfunktioner