Flytta data till eller från Azure Blob Storage med SSIS-anslutningsappar
Azure Feature Pack for Integration Services (SSIS) innehåller komponenter för att ansluta till Azure, överföra data mellan Azure och lokala datakällor och bearbeta data som lagras i Azure.
Den här menyn länkar till tekniker som du kan använda för att flytta data till och från Azure Blob Storage:
När kunderna har flyttat lokala data till molnet kan de komma åt sina data från valfri Azure-tjänst för att dra nytta av den fulla kraften i azure-teknikpaketet. Data kan senare användas, till exempel i Azure Machine Learning eller i ett HDInsight-kluster.
Exempel på hur du använder dessa Azure-resurser finns i genomgångarna för SQL och HDInsight .
En diskussion om kanoniska scenarier som använder SSIS för att uppfylla affärsbehov som är vanliga i hybriddataintegreringsscenarier finns i Avsnittet om att göra mer med SQL Server Integration Services-funktionspaketet för Azure-bloggen .
Kommentar
En fullständig introduktion till Azure Blob Storage finns i Grunderna för Azure Blob och REST API för Azure Blob Service.
Förutsättningar
Om du vill utföra de uppgifter som beskrivs i den här artikeln måste du ha en Azure-prenumeration och ett Azure Storage-konto konfigurerat. Du behöver Azure Storage-kontonamnet och kontonyckeln för att ladda upp eller ladda ned data.
- Information om hur du konfigurerar en Azure-prenumeration finns i Kostnadsfri utvärderingsversion på en månad.
- Anvisningar om hur du skapar ett lagringskonto och hur du hämtar konto- och nyckelinformation finns i Om Azure Storage-konton.
Om du vill använda SSIS-anslutningsapparna måste du ladda ned:
- SQL Server 2014 eller 2016 Standard (eller senare): Installation inkluderar SQL Server Integration Services.
- Microsoft SQL Server 2014 eller 2016 Integration Services Feature Pack för Azure: Dessa anslutningsappar kan laddas ned från SQL Server 2014 Integration Services och SQL Server 2016 Integration Services.
Kommentar
SSIS installeras med SQL Server, men ingår inte i Express-versionen. Information om vilka program som ingår i olika utgåvor av SQL Server finns i teknisk dokumentation om SQL Server
Information om hur du installerar SSIS finns i Installera Integration Services (SSIS)
Information om hur du kommer igång med SISS för att skapa enkla ETL-paket (extrahering, transformering och inläsning) finns i SSIS-självstudie: Skapa ett enkelt ETL-paket.
Ladda ned NYC Taxi-datauppsättning
I exemplet som beskrivs här används en offentligt tillgänglig datauppsättning som är tillgänglig i öppna Azure-datamängder och TLC-färdpostdata. Datamängden består av cirka 173 miljoner taxiresor i NYC år 2013. Det finns två typer av data: reseinformationsdata och prisdata.
Ladda upp data till Blob Storage
Om du vill flytta data med hjälp av SSIS-funktionspaketet från lokalt till Blob Storage använder vi en instans av Azure Blob Upload Task, som visas här:
I följande tabell beskrivs de parametrar som aktiviteten använder.
| Fält | beskrivning |
|---|---|
| AzureStorage Anslut ion | Anger en befintlig Azure Storage Anslut ion Manager eller skapar en ny som refererar till ett Azure Storage-konto som pekar på var blobfilerna finns. |
| BlobContainer | Anger namnet på blobcontainern som innehåller de uppladdade filerna som blobar. |
| BlobDirectory | Anger blobkatalogen där den uppladdade filen lagras som en blockblob. Blobkatalogen är en virtuell hierarkisk struktur. Om bloben redan finns ersätts den. |
| LocalDirectory | Anger den lokala katalogen som innehåller de filer som ska laddas upp. |
| Filnamn | Anger ett namnfilter för att välja filer med det angivna namnmönstret. MySheet*.xls* innehåller till exempel filer som MySheet001.xls och MySheetABC.xlsx |
| TimeRangeFrom/TimeRangeTo | Anger ett tidsintervallfilter. Filer som ändrats efter TimeRangeFrom och före TimeRangeTo inkluderas. |
Kommentar
Autentiseringsuppgifterna för AzureStorage Anslut ion måste vara korrekta och BlobContainer måste finnas innan överföringen görs.
Ladda ned data från Blob Storage
Om du vill ladda ned data från Blob Storage till lokal lagring med SSIS använder du en instans av Azure Blob Download Task.
Mer avancerade SSIS Azure-scenarier
Med SSIS-funktionspaketet kan mer komplexa flöden hanteras av paketeringsuppgifter tillsammans. Blobdata kan till exempel matas direkt till ett HDInsight-kluster, vars utdata kan laddas ned tillbaka till en blob och sedan till lokal lagring. SSIS kan köra Hive- och Pig-jobb i ett HDInsight-kluster med hjälp av ytterligare SSIS-anslutningsappar:
- Om du vill köra ett Hive-skript på ett Azure HDInsight-kluster med SSIS använder du Azure HDInsight Hive Task.
- Om du vill köra ett Pig-skript i ett Azure HDInsight-kluster med SSIS använder du Azure HDInsight Pig Task.
Deltagare
Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.
Huvudförfattare:
- Markera Tabladillo | Senior Cloud Solution Architect
Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.
Nästa steg
- Introduktion till Azure Blob Storage
- Kopiera och flytta blobar från en container eller ett lagringskonto till ett annat
- Köra befintliga SSIS-paket i Azure Data Factory eller Azure Synapse Pipeline
Relaterade resurser
Feedback
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i: https://aka.ms/ContentUserFeedback.
Skicka och visa feedback för