Förstå Data Factory-priser genom exempel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

I den här artikeln förklaras och Azure Data Factory prismodellen med detaljerade exempel. Du kan också se Priskalkylatorn för Azure för mer specifika scenarier och beräkna dina framtida kostnader för att använda tjänsten.

Kopiera data från AWS S3 till Azure Blob Storage varje timme

I det här scenariot vill du kopiera data från AWS S3 till Azure Blob Storage enligt ett schema per timme.

För att åstadkomma scenariot måste du skapa en pipeline med följande objekt:

1. En kopieringsaktivitet med en indatauppsättning för data som ska kopieras från AWS S3.

2. En utdatauppsättning för data på Azure Storage.

3. En schemautlösare som kör pipelinen varje timme.

   

Pris totalt scenario: 0,16811 USD

• Data Factory Åtgärder = 0,0001 USD
  • Läsning/skrivning = 10 * 0,00001 = $0,0001 [1 R/W = $0,50/50000 = 0,00001]
  • Övervakning = 2 * 0,000005 = 0,00001 USD [1 övervakning = 0,25 USD/50000 = 0,000005]
• Pipeline Orchestration & Execution = 0,168 USD
  • Aktivitetskörningar = 0,001 * 2 = $0,002 [1 körning = $1/1000 = 0,001]
  • Dataförflyttningsaktiviteter = 0,166 USD (prorerat för 10 minuters körningstid. 0,25 USD per timme Azure Integration Runtime)

Kopiera data och transformera med Azure Databricks varje timme

I det här scenariot vill du kopiera data från AWS S3 till Azure Blob Storage och transformera data med Azure Databricks enligt ett schema per timme.

För att åstadkomma scenariot måste du skapa en pipeline med följande objekt:

1. En kopieringsaktivitet med en indatauppsättning för data som ska kopieras från AWS S3 och en utdatauppsättning för data i Azure Storage.
2. En Azure Databricks aktivitet för datatransformering.
3. En schemautlösare som kör pipelinen varje timme.

Pris totalt scenario: 0,16916 USD

• Data Factory åtgärder = 0,000012 USD
  • Läsning/skrivning = 11 * 0,000001 = $0,00011 [1 R/W = $0,50/50000 = 0,00001]
  • Övervakning = 3 * 0,0000005 = 0,00001 USD [1 övervakning = 0,25 USD/50000 = 0,000005]
• Pipeline Orchestration & Execution = $0.16904
  • Aktivitetskörningar = 0,001 * 3 = $0,003 [1 körning = $1/1000 = 0,001]
  • Dataförflyttningsaktiviteter = 0,166 USD (prorerat för 10 minuters körningstid. 0,25 USD per timme Azure Integration Runtime)
  • Extern pipelineaktivitet = 0,0000041 USD (prorated for 10 minutes of execution time (10 minuters körningstid). 0,00025 USD/timme Azure Integration Runtime)

Kopiera data och transformera med dynamiska parametrar varje timme

I det här scenariot vill du kopiera data från AWS S3 till Azure Blob Storage och transformera med Azure Databricks (med dynamiska parametrar i skriptet) enligt ett schema per timme.

För att åstadkomma scenariot måste du skapa en pipeline med följande objekt:

1. En kopieringsaktivitet med en indatauppsättning för data som ska kopieras från AWS S3, en utdatauppsättning för data i Azure Storage.
2. En sökningsaktivitet för att skicka parametrar dynamiskt till transformeringsskriptet.
3. En Azure Databricks aktivitet för datatransformering.
4. En schemautlösare som kör pipelinen varje timme.

Pris totalt scenario: 0,17020 USD

• Data Factory åtgärder = 0,00013 USD
  • Läsning/skrivning = 11 * 0,000001 = $0,00011 [1 R/W = $0,50/50000 = 0,00001]
  • Övervakning = 4 * 0,000005 = $0,00002 [1 övervakning = 0,25 USD/50000 = 0,000005]
• Pipeline Orchestration & Execution = $0.17007
  • Aktivitetskörningar = 0,001 * 4 = 0,004 USD [1 körning = $1/1000 = 0,001]
  • Dataförflyttningsaktiviteter = 0,166 USD (prorerat för 10 minuters körningstid. 0,25 USD per timme Azure Integration Runtime)
  • Pipeline-aktivitet = 0,00003 USD (prorerat för en minuts körningstid. 0,002 USD/timme Azure Integration Runtime)
  • Extern pipelineaktivitet = 0,0000041 USD (prorated for 10 minutes of execution time (10 minuters körningstid). 0,00025 USD/timme Azure Integration Runtime)

Köra SSIS-paket på Azure-SSIS Integration Runtime

Azure-SSIS Integration Runtime (IR) är ett särskilt kluster av virtuella Azure-datorer (VM) för SSIS-paketkörningar i Azure Data Factory (ADF). När du etablerar den kommer den att vara dedikerad till dig. Därför debiteras den precis som andra dedikerade virtuella Azure-datorer så länge du fortsätter att köra den, oavsett om du använder den för att köra SSIS-paket eller inte. När det gäller den löpande kostnaden ser du timuppskattningen i konfigurationsfönstret i ADF-portalen, till exempel:

Om du fortsätter att köra din Azure-SSIS IR i 2 timmar i exemplet ovan debiteras du: 2 (timmar) x 1,158 USD/timme = 2,316 USD.

För att hantera din Azure-SSIS IR löpande kostnad kan du skala ned din VM-storlek, skala i klusterstorleken, ta med din egen SQL Server-licens via alternativet Azure Hybrid-förmån (AHB) som ger betydande besparingar, se Azure-SSIS IR-priseroch eller starta & stoppa din Azure-SSIS IR när det är praktiskt/på begäran/precis i tid för att bearbeta dina SSIS-arbetsbelastningar, se Konfigurera om Azure-SSIS IR och schemalägg Azure-SSIS IR.

Använda mappning av dataflödesfelsökning under en normal arbetsdag

Som en Dataingenjör ansvarar Sam för att utforma, skapa och testa mappningsdataflöden varje dag. Sam loggar in i ADF-användargränssnittet på morgonen och aktiverar felsökningsläget för dataflöden. Standard-TTL för felsökningssessioner är 60 minuter. Sam arbetar under dagen i åtta timmar, så felsökningssessionen upphör aldrig att gälla. Därför blir Sams avgifter för dagen:

8 (timmar) x 8 (beräkningsoptimerade kärnor) x 0,193 USD = 12,35 USD

På samma gång loggar Chris, en annan Dataingenjör, även i ADF-webbläsarens användargränssnitt för dataprofilering och ETL-designarbete. Chris arbetar inte i ADF hela dagen som Sam. Chris behöver bara använda dataflödesfelsökaren i en timme under samma period och samma dag som Sam ovan. Det här är de avgifter som Chris debiteras för felsökningsanvändning:

1 (timme) x 8 (kärnor för generell användning) x 0,274 USD = 2,19 USD

Transformera data i bloblagring med mappning av dataflöden

I det här scenariot vill du transformera data i Blob Store visuellt i ADF-mappningsdataflöden enligt ett schema per timme.

För att åstadkomma scenariot måste du skapa en pipeline med följande objekt:

1. En Data Flow aktivitet med transformeringslogiken.

2. En indatauppsättning för data på Azure Storage.

3. En utdatauppsättning för data på Azure Storage.

4. En schemautlösare som kör pipelinen varje timme.

Pris totalt scenario: 1,4631 USD

• Data Factory Åtgärder = 0,0001 USD
  • Läsning/skrivning = 10 * 0,00001 = $0,0001 [1 R/W = $0,50/50000 = 0,00001]
  • Övervakning = 2 * 0,0000005 = 0,00001 USD [1 övervakning = 0,25 USD/50000 = 0,000005]
• Pipeline Orchestration & Execution = $1.463
  • Aktivitetskörningar = 0,001 * 2 = $0,002 [1 körning = $1/1000 = 0,001]
  • Data Flow aktiviteter = 1,461 USD i 20 minuter (körningstid på 10 minuter + 10 minuters TTL-värde). 0,274 USD per timme Azure Integration Runtime med 16 kärnor allmän beräkning

Dataintegrering i Azure Data Factory VNET

I det här scenariot vill du ta bort ursprungliga filer på Azure Blob Storage och kopiera data från Azure SQL Database till Azure Blob Storage. Du kommer att utföra den här körningen två gånger på olika pipelines. Körningstiden för dessa två pipelines överlappar. För att åstadkomma scenariot måste du skapa två pipelines med följande objekt:

• En pipeline-aktivitet – Ta bort aktivitet.
• En kopieringsaktivitet med en indatauppsättning som data ska kopieras från Azure Blob Storage.
• En utdatauppsättning för data på Azure SQL Database.
• Ett schema utlöses för att köra pipelinen.

Pris totalt scenario: 1,45523 USD

• Data Factory Åtgärder = 0,000023 USD
  • Läsning/skrivning = 20*0,00001 = $0,0002 [1 R/W = $0,50/50000 = 0,00001]
  • Övervakning = 6*0,0000005 = $0,00003 [1 övervakning = 0,25 USD/50000 = 0,000005]
• Pipeline Orchestration & Execution = 1,455 USD
  • Aktivitetskörningar = 0,001*6 = $0,006 [1 körning = $1/1000 = 0,001]
  • Dataförflyttningsaktiviteter = 0,333 USD (prorerat för 10 minuters körningstid. 0,25 USD per timme Azure Integration Runtime)
  • Pipeline-aktivitet = 1,116 USD (prorated for 7 minutes of execution time plus 60 minutes TTL. 1 USD/timme Azure Integration Runtime)

Vanliga frågor och svar

F: Kan dessa aktiviteter köras samtidigt om jag vill köra fler än 50 pipeline-aktiviteter?

S: Högst 50 samtidiga pipelineaktiviteter tillåts. Den 51:e pipeline-aktiviteten köas tills ett "ledigt fack" öppnas. Samma för extern aktivitet. Maximalt 800 samtidiga externa aktiviteter tillåts.

Nästa steg

Nu när du förstår priserna för Azure Data Factory kan du komma igång!

• Skapa en datafabrik med hjälp av Azure Data Factory användargränssnitt

• Introduktion till Azure Data Factory

• Redigering av visuella objekt i Azure Data Factory