Starta och stoppa en Azure-SSIS-integreringskörning enligt ett schema

Artikel
01/05/2024

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

I den här artikeln beskrivs hur du schemalägger start och stopp av en Integreringskörning för Azure-SQL Server Integration Services (SSIS) (IR) med hjälp av Azure Data Factory och Azure Synapse Analytics. En Azure-SSIS IR är en beräkningsresurs som är dedikerad för att köra SSIS-paket.

En kostnad är associerad med att köra en Azure-SSIS IR. Vanligtvis vill du bara köra din IR när du behöver köra SSIS-paket i Azure och stoppa din IR när du inte behöver det längre. Du kan använda Data Factory, Azure-portalsidan för Azure Synapse Analytics-pipelines eller Azure PowerShell för att starta eller stoppa din IR manuellt.

Du kan också skapa webbaktiviteter i Data Factory- eller Azure Synapse Analytics-pipelines för att starta och stoppa din IR enligt ett schema. Du kan till exempel starta den på morgonen innan du kör dina dagliga ETL-arbetsbelastningar och stoppa den på eftermiddagen när arbetsbelastningarna är klara.

Du kan också länka aktiviteten Execute SSIS Package (Kör SSIS-paket) mellan två webbaktiviteter som startar och stoppar din IR. Din IR startar och stoppar sedan på begäran, före eller efter paketkörningen. Mer information om aktiviteten Execute SSIS Package ( Kör SSIS-paket) finns i Köra ett SSIS-paket med aktiviteten Execute SSIS Package (Kör SSIS-paket) i Azure-portalen.

Kommentar

Vi rekommenderar att du använder Azure Az PowerShell-modulen för att interagera med Azure. Se Installera Azure PowerShell för att komma igång. Information om hur du migrerar till Az PowerShell-modulen finns i artikeln om att migrera Azure PowerShell från AzureRM till Az.

Förutsättningar

För att implementera den här genomgången behöver du:

En instans av Azure Data Factory. Om du inte har någon etablerad följer du stegen i Snabbstart: Skapa en datafabrik med hjälp av Azure-portalen och Azure Data Factory Studio.
En Azure-SSIS IR. Om du inte har någon etablerad följer du anvisningarna i Etablera Azure-SSIS-integreringskörningen i Azure Data Factory.

Skapa och schemalägga Data Factory-pipelines som startar och stoppar en Azure-SSIS IR

Kommentar

Det här avsnittet stöds inte för Azure-SSIS i Azure Synapse Analytics med dataexfiltreringsskydd aktiverat.

Det här avsnittet visar hur du använder webbaktiviteter i Data Factory-pipelines för att starta och stoppa din Azure-SSIS IR enligt ett schema eller starta och stoppa den på begäran. Du skapar tre pipelines:

Den första pipelinen innehåller en webbaktivitet som startar din Azure-SSIS IR.
Den andra pipelinen innehåller en webbaktivitet som stoppar din Azure-SSIS IR.
Den tredje pipelinen innehåller en Execute SSIS Package-aktivitet som är länkad mellan två webbaktiviteter som startar och stoppar din Azure-SSIS IR.

När du har skapat och testat dessa pipelines kan du skapa en utlösare som definierar ett schema för att köra en pipeline. Du kan till exempel skapa två utlösare. Den första är schemalagd att köras dagligen kl. 06.00 och är associerad med den första pipelinen. Den andra är schemalagd att köras dagligen kl. 18.00 och är associerad med den andra pipelinen. På så sätt har du en period från 06:00 till 18:00 varje dag när din IR körs, redo att köra dina dagliga ETL-arbetsbelastningar.

Om du skapar en tredje utlösare som är schemalagd att köras dagligen vid midnatt och är associerad med den tredje pipelinen körs pipelinen vid midnatt varje dag. Den startar din IR precis före paketkörningen och kör sedan paketet. Den stoppar omedelbart din IR strax efter paketkörningen, så din IR körs inte idly.

Skapa dina pipelines

På startsidan för Azure Data Factory väljer du Orchestrate.
I verktygslådan Aktiviteter expanderar du menyn Allmänt och drar en webbaktivitet till pipelinedesignytan. På fliken Allmänt i fönstret aktivitetsegenskaper ändrar du aktivitetsnamnet till startMyIR. Växla till fliken Inställningar och utför sedan följande åtgärder.

Kommentar

För Azure-SSIS i Azure Synapse Analytics använder du motsvarande REST-API för Azure Synapse Analytics för att hämta integreringskörningsstatusen, starta integrationskörningen och stoppa integreringskörningen.
1. För URL anger du följande URL för REST-API:et som startar Azure-SSIS IR. Ersätt {subscriptionId}, {resourceGroupName}, {factoryName}och {integrationRuntimeName} med de faktiska värdena för din IR.
  
  https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/start?api-version=2018-06-01
  
  Du kan också kopiera och klistra in resurs-ID:t för din IR från övervakningssidan i datafabrikens användargränssnitt eller app för att ersätta följande del av föregående URL: /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}.
2. För Metod väljer du POST.
3. För Brödtext anger du {"message":"Start my IR"}.
4. För Autentisering väljer du Hanterad identitet för att använda den angivna systemhanterade identiteten för din datafabrik. Mer information finns i Hanterad identitet för Azure Data Factory.
5. För Resurs anger du https://management.azure.com/.
Klona den första pipelinen för att skapa en till. Ändra aktivitetsnamnet för att stoppaMyIR och ersätt följande egenskaper:
1. För URL anger du följande URL för REST-API:et som stoppar Azure-SSIS IR. Ersätt {subscriptionId}, {resourceGroupName}, {factoryName}och {integrationRuntimeName} med de faktiska värdena för din IR.
  
  https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/stop?api-version=2018-06-01.
2. För Brödtext anger du {"message":"Stop my IR"}.
Skapa en tredje pipeline. Dra aktiviteten Execute SSIS Package (Kör SSIS-paket) från verktygslådan Aktiviteter till pipelinedesignytan. Konfigurera sedan aktiviteten genom att följa anvisningarna i Kör ett SSIS-paket med aktiviteten Execute SSIS Package (Kör SSIS-paket) i Azure-portalen.

Länka aktiviteten Execute SSIS Package (Kör SSIS-paket) mellan två webbaktiviteter som startar och stoppar din IR, ungefär som webbaktiviteterna i den första och andra pipelinen.

I stället för att skapa den tredje pipelinen manuellt kan du också automatiskt skapa den från en mall:
1. Välj ellipsen (...) bredvid Pipeline för att öppna en listmeny med pipelineåtgärder. Välj sedan åtgärden Pipeline from template (Pipeline från mall).
2. Markera kryssrutan SSIS under Kategori.
3. Välj schemalägg ADF-pipelinen för att starta och stoppa Azure-SSIS IR precis i tid före och efter att du har kört SSIS-paketmallen.
4. I listrutan Azure-SSIS Integration Runtime väljer du din IR.
5. Välj knappen Använd den här mallen.
När du har skapat din pipeline automatiskt är det bara SSIS-paketet kvar som du kan tilldela aktiviteten Execute SSIS Package (Kör SSIS-paket).
För att göra den tredje pipelinen mer robust kan du se till att webbaktiviteterna för att starta och stoppa din IR görs om om det finns några tillfälliga fel (till exempel på grund av nätverksanslutning). Du kan också se till att dessa webbaktiviteter endast slutförs när din IR faktiskt startas eller stoppas.

För att göra det kan du ersätta varje webbaktivitet med en Until-aktivitet. Aktiviteten Till innehåller två webbaktiviteter: en för att starta och stoppa din IR och en annan för att kontrollera din IR-status. Vi anropar Till-aktiviteterna Starta SSIS IR och Stoppa SSIS IR. Aktiviteten Starta SSIS IR Tills innehåller webbaktiviteterna Prova starta SSIS IR och Hämta SSIS IR-status . Aktiviteten Stoppa SSIS IR Tills innehåller webbaktiviteterna Testa stoppa SSIS IR och Hämta SSIS IR-status .

På fliken Inställningar i aktiviteten Starta SSIS IR Until anger du @equals('Started', activity('Get SSIS IR Status').output.properties.state)för Uttryck . På fliken Inställningar i aktiviteten Stoppa SSIS IR Tills anger du @equals('Stopped', activity('Get SSIS IR Status').output.properties.state)för Uttryck .

I båda Till-aktiviteterna liknar webbaktiviteterna Try Start SSIS IR och Try Stop SSIS IR de webbaktiviteterna i den första och andra pipelinen. Gör följande på fliken Inställningar för webbaktiviteterna Hämta SSIS IR-status:
1. För URL anger du följande URL för REST-API:et som hämtar Azure-SSIS IR-status. Ersätt {subscriptionId}, {resourceGroupName}, {factoryName}och {integrationRuntimeName} med de faktiska värdena för din IR.
  
  https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}?api-version=2018-06-01
2. För Metod väljer du GET.
3. För Autentisering väljer du Hanterad identitet för att använda den angivna systemhanterade identiteten för din datafabrik. Mer information finns i Hanterad identitet för Azure Data Factory.
4. För Resurs anger du https://management.azure.com/.
Tilldela den hanterade identiteten för datafabriken en deltagarroll till sig själv, så att webbaktiviteter i dess pipelines kan anropa REST-API:et för att starta och stoppa Azure-SSIS IR:er som etablerats i den:
1. På sidan Data Factory i Azure-portalen väljer du Åtkomstkontroll (IAM).
2. Välj Lägg till>rolltilldelning för att öppna sidan Lägg till rolltilldelning.
3. Tilldela följande roll. Läs mer om att tilldela roller i Tilldela Azure-roller via Azure Portal.
  
  Inställning Värde
  
  Roll Deltagare
  
  Tilldela åtkomst till Användaren, gruppen eller tjänstens huvudnamn
  
  Medlemmar Ditt användarnamn för Data Factory
Verifiera datafabriken och alla pipelineinställningar genom att välja Verifiera alla eller Verifiera i verktygsfältet för fabrik eller pipeline. Stäng Fabriksverifieringsutdata eller Pipeline-valideringsutdata genom att välja knappen dubbelpil (>>).

Inställning	Värde
Roll	Deltagare
Tilldela åtkomst till	Användaren, gruppen eller tjänstens huvudnamn
Medlemmar	Ditt användarnamn för Data Factory

Testkör dina pipelines

Välj Testkörning i verktygsfältet för varje pipeline. I det nedre fönstret visas pipelinekörningar på fliken Utdata .
Om du vill testa den tredje pipelinen kan du använda SQL Server Management Studio om du lagrar ditt SSIS-paket i SSIS-katalogen (SSISDB). Gör följande i fönstret Anslut till server:
1. Ange servernamnet.database.windows.net> som Servernamn<.
2. Välj alternativ>>
3. För Anslut till databasen väljer du SSISDB.
4. Välj Anslut.
5. Expandera Integration Services Catalogs>SSISDB> your folder >Projects> your SSIS project Packages ( Projektera dina SSIS-projektpaket).>
6. Högerklicka på det angivna SSIS-paketet som ska köras och välj sedan Rapporter>standardrapporter>alla körningar.
7. Kontrollera att paketet kördes.

Schemalägga dina pipelines

Nu när dina pipelines fungerar som förväntat kan du skapa utlösare för att köra dem vid angivna takter. Mer information om hur du associerar utlösare med pipelines finns i Konfigurera scheman för pipelines.

Välj Utlösare i pipelineverktygsfältet och välj sedan Ny/Redigera.
I fönstret Lägg till utlösare väljer du + Ny.
Gör följande i fönstret Ny utlösare :
1. Som Namn anger du ett namn för utlösaren. I följande exempel är trigger2 utlösarnamnet.
2. För Typ väljer du Schema.
3. För Startdatum anger du ett startdatum och en tid i UTC.
4. För Upprepning anger du en kadens för utlösaren. I följande exempel är det en gång varje dag.
5. Om du vill att utlösaren ska ha ett slutdatum väljer du Ange ett slutdatum och väljer sedan ett datum och en tid.
6. Välj Starta utlösare när du skapar för att aktivera utlösaren omedelbart efter att du har publicerat alla Data Factory-inställningar.
7. Välj OK.
På sidan Parametrar för körning av utlösare granskar du eventuella varningar och väljer sedan Slutför.
Publicera alla Data Factory-inställningar genom att välja Publicera alla i fabriksverktygsfältet.

Övervaka dina pipelines och utlösare i Azure-portalen

Om du vill övervaka utlösarkörningar och pipelinekörningar använder du fliken Övervaka till vänster i datafabrikens användargränssnitt eller app. Detaljerade steg finns i Övervaka Azure Data Factory visuellt.
Om du vill visa de aktivitetskörningar som är associerade med en pipelinekörning väljer du den första länken (Visa aktivitetskörningar) i kolumnen Åtgärder . För den tredje pipelinen visas tre aktivitetskörningar: en för varje länkad aktivitet i pipelinen (webbaktivitet för att starta din IR, köra SSIS-paketaktivitet för att köra paketet och webbaktivitet för att stoppa din IR). Om du vill visa pipelinekörningarna igen väljer du länken Pipelines längst upp.
Om du vill visa utlösarkörningarna väljer du Utlösarkörningar i listrutan under Pipelinekörningar överst.

Övervaka dina pipelines och utlösare med hjälp av PowerShell

Använd skript som följande exempel för att övervaka dina pipelines och utlösare:

Hämta status för en pipelinekörning:

Get-AzDataFactoryV2PipelineRun -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -PipelineRunId $myPipelineRun

Hämta information om en utlösare:

Get-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name  "myTrigger"

Hämta status för en utlösarkörning:

Get-AzDataFactoryV2TriggerRun -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -TriggerName "myTrigger" -TriggerRunStartedAfter "2018-07-15" -TriggerRunStartedBefore "2018-07-16"

Skapa och schemalägga en Azure Automation-runbook som startar och stoppar en Azure-SSIS IR

I det här avsnittet får du lära dig hur du skapar En Azure Automation-runbook som kör ett PowerShell-skript för att starta och stoppa din Azure-SSIS IR enligt ett schema. Den här informationen är användbar när du vill köra ytterligare skript före eller efter att du har startat och stoppat din IR för förbearbetning och efterbearbetning.

Skapa ditt Azure Automation-konto

Om du inte har något Azure Automation-konto skapar du ett genom att följa anvisningarna i det här avsnittet. Detaljerade steg finns i Skapa ett Azure Automation-konto.

Som en del av den här processen skapar du ett Azure Run As-konto (ett huvudnamn för tjänsten i Microsoft Entra-ID) och tilldelar det en deltagarroll i din Azure-prenumeration. Se till att det är samma prenumeration som innehåller din datafabrik med Azure-SSIS IR. Azure Automation använder det här kontot för att autentisera till Azure Resource Manager och arbeta med dina resurser.

Öppna webbläsaren Microsoft Edge eller Google Chrome. Data Factory-användargränssnittet stöds för närvarande endast i dessa webbläsare.
Logga in på Azure-portalen.
Välj Nytt på den vänstra menyn, välj Övervakning + hantering och välj sedan Automation.
Gör följande i fönstret Lägg till Automation-konto :
1. Som Namn anger du ett namn för ditt Azure Automation-konto.
2. För Prenumeration väljer du den prenumeration som har din datafabrik med Azure-SSIS IR.
3. För Resursgrupp väljer du Skapa ny för att skapa en ny resursgrupp eller väljer Använd befintlig för att använda en befintlig.
4. För Plats väljer du en plats för ditt Azure Automation-konto.
5. För Skapa Azure Kör som-konto väljer du Ja. Ett huvudnamn för tjänsten skapas i din Microsoft Entra-instans och tilldelas en deltagarroll i din Azure-prenumeration.
6. Välj Fäst på instrumentpanelen för att visa kontot permanent på Azure-instrumentpanelen.
7. Välj Skapa.
Övervaka distributionsstatusen för ditt Azure Automation-konto på Azure-instrumentpanelen och i meddelanden.
Bekräfta att startsidan för ditt Azure Automation-konto visas. Det innebär att du har skapat kontot.

Importera Data Factory-moduler

På den vänstra menyn går du till avsnittet DELADE RESURSER och väljer Moduler. Kontrollera att du har Az.DataFactory och Az.Profile i listan med moduler. De är båda nödvändiga.

Screenshot that shows a list of modules in Azure Automation.

Om du inte har Az.DataFactory:

Gå till modulen Az.DataFactory i PowerShell-galleriet.
Välj Distribuera till Azure Automation, välj ditt Azure Automation-konto och välj sedan OK.
Gå tillbaka för att visa moduler i avsnittet DELADE RESURSER på den vänstra menyn. Vänta tills STATUS för Az.DataFactory-modulen ändras till Tillgänglig.

Om du inte har Az.Profile:

Gå till modulen Az.Profile i PowerShell-galleriet.
Välj Distribuera till Azure Automation, välj ditt Azure Automation-konto och välj sedan OK.
Gå tillbaka för att visa moduler i avsnittet DELADE RESURSER på den vänstra menyn. Vänta tills STATUS för Az.Profile-modulen ändras till Tillgänglig.

Skapa din PowerShell-runbook

Det här avsnittet innehåller steg för att skapa en PowerShell-runbook. Skriptet som är associerat med din runbook startar eller stoppar Azure-SSIS IR, baserat på det kommando som du anger för parametern OPERATION .

Följande steg innehåller inte fullständig information om hur du skapar en runbook. Mer information finns i Skapa en runbook.

Växla till fliken Runbooks och välj + Lägg till en runbook i verktygsfältet.
Välj Skapa en ny runbook och utför sedan följande åtgärder:
1. Som Namn anger du StartStopAzureSsisRuntime.
2. Som Runbook-typ väljer du PowerShell.
3. Välj Skapa.

Kopiera och klistra in följande PowerShell-skript i ditt runbook-skriptfönster. Spara och publicera sedan din runbook med hjälp av knapparna Spara och Publicera i verktygsfältet.

Kommentar

I det här exemplet används en systemtilldelad hanterad identitet. Om du använder ett Kör som-konto (tjänstens huvudnamn) eller en användartilldelad hanterad identitet kan du läsa Azure Automation-exempelskript för inloggningsdelen .

Aktivera lämpliga behörigheter för rollbaserad åtkomstkontroll (RBAC) för den hanterade identiteten för det här Automation-kontot. Mer information finns i Roller och behörigheter för Azure Data Factory.

Param
(
      [Parameter (Mandatory= $true)]
      [String] $ResourceGroupName,

      [Parameter (Mandatory= $true)]
      [String] $DataFactoryName,

      [Parameter (Mandatory= $true)]
      [String] $AzureSSISName,

      [Parameter (Mandatory= $true)]
      [String] $Operation
)

$ErrorActionPreference = "Stop"

try
{
    "Logging in to Azure..."
    Connect-AzAccount -Identity
}
catch {
    Write-Error -Message $_.Exception
    throw $_.Exception
}

if($Operation -eq "START" -or $operation -eq "start")
{
    "##### Starting #####"
    Start-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name $AzureSSISName -Force
}
elseif($Operation -eq "STOP" -or $operation -eq "stop")
{
    "##### Stopping #####"
    Stop-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Force
}  
"##### Completed #####"

Screenshot of the interface for editing a PowerShell runbook.

Testa din runbook genom att välja knappen Start i verktygsfältet.
Gör följande i fönstret Starta Runbook :
1. För RESOURCEGROUPNAME anger du namnet på resursgruppen som har datafabriken med Azure-SSIS IR.
2. För DATAFACTORYNAME anger du namnet på din datafabrik med Azure-SSIS IR.
3. För AZURESSISNAME anger du namnet på Azure-SSIS IR.
4. För OPERATION anger du START.
5. Välj OK.
I fönstret Jobb väljer du panelen Utdata . I fönstret Utdata väntar du på meddelandet ##### Slutfört ##### när du ser ###### Start ######. Det tar cirka 20 minuter att starta en Azure-SSIS IR. Stäng fönstret Jobb och gå tillbaka till runbook-sidan .
Upprepa de föregående två stegen med STOP som värde för OPERATION. Starta runbooken igen genom att välja knappen Starta i verktygsfältet. Ange dina resursgrupps-, datafabriks- och Azure-SSIS IR-namn. För OPERATION anger du STOP. I fönstret Utdata väntar du på meddelandet ##### Slutfört ##### när du ser ###### Stoppa ######. Det tar inte lika lång tid att stoppa en Azure-SSIS IR som att starta den. Stäng fönstret Jobb och gå tillbaka till runbook-sidan .
Du kan också utlösa din runbook via en webhook. Om du vill skapa en webhook väljer du menyalternativet Webhooks . Du kan också skapa webhooken enligt ett schema genom att välja menyalternativet Schemalägg enligt vad som anges i nästa avsnitt.

Skapa scheman för din runbook för att starta och stoppa en Azure-SSIS IR

I föregående avsnitt skapade du en Azure Automation-runbook som antingen kan starta eller stoppa en Azure-SSIS IR. I det här avsnittet skapar du två scheman för din runbook. När du konfigurerar det första schemat anger du START för OPERATION. När du konfigurerar den andra anger du STOP för OPERATION. Detaljerade steg för att skapa scheman finns i Skapa ett schema.

På sidan Runbook väljer du Scheman och sedan + Lägg till ett schema i verktygsfältet.
Gör följande i fönstret Schemalägg runbook:
1. Välj Länka ett schema till din runbook.
2. Välj Skapa ett nytt schema.
3. I fönstret Nytt schema anger du Start IR daily (Starta IR dagligen ) som Namn.
4. För Startar anger du en tid som är några minuter efter den aktuella tiden.
5. För Återkommande väljer du Återkommande.
6. För Upprepa varje anger du 1 och väljer Dag.
7. Välj Skapa.
Växla till fliken Parametrar och kör inställningar . Ange resursgruppen, datafabriken och Azure-SSIS IR-namnen. För OPERATION anger du START och väljer sedan OK. Välj OK igen för att se schemat på sidan Scheman i din runbook.
Upprepa de föregående två stegen för att skapa ett schema med namnet Stoppa IR dagligen. Ange en tid som är minst 30 minuter efter den tid som du angav för det dagliga start-IR-schemat. För OPERATION anger du STOP och väljer sedan OK. Välj OK igen för att se schemat på sidan Scheman i din runbook.
På sidan Runbook väljer du Jobb på den vänstra menyn. Sidan som öppnas visar de jobb som skapats av dina scheman vid de angivna tiderna, tillsammans med deras statusar. Du kan se jobbinformationen, till exempel dess utdata, ungefär som när du har testat din runbook.
När du är klar med testningen inaktiverar du dina scheman genom att redigera dem. Välj Scheman på den vänstra menyn, välj Starta IR dagligen/Stoppa IR dagligen och välj sedan Nej för Aktiverad.