ストアドプロシージャアクティビティを使用して SSIS パッケージを実行する

[アーティクル]
07/20/2023

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

この記事では、ストアドプロシージャアクティビティを使用して、SSIS パッケージを Azure Data Factory パイプラインまたは Synapse Pipelines で実行する方法を説明します。

前提条件

Azure SQL データベース

この記事のチュートリアルでは、SSIS カタログをホストする Azure SQL データベースを使用します。 Azure SQL Managed Instance を使うこともできます。

Data Factory

このチュートリアルを実装するには、Azure Data Factory のインスタンスが必要です。まだプロビジョニングしていない場合は、「クイックスタート: Azure portal と Azure Data Factory Studio を使用してデータファクトリを作成する」の手順に従うことができます。

Azure-SSIS 統合ランタイム

最後に、Azure-SSIS 統合ランタイムがない場合は、SSIS パッケージのデプロイに関するチュートリアルの手順に従ってそれを入手する必要もあります。

ストアドプロシージャアクティビティを含むパイプラインを作成する

この手順では、データファクトリ UI を使用してパイプラインを作成します。 Azure Data Factory Studio にまだ移動していない場合は、Azure portal でデータファクトリを開き、[Open Azure Data Factory Studio] ボタンをクリックして開きます。

Screenshot of the Azure Data Factory home page.

次に、ストアドプロシージャアクティビティを新しいパイプラインに追加し、sp_executesql ストアドプロシージャを使用して、SSIS パッケージを実行するように構成します。

ホームページで、 [調整] をクリックします。
[アクティビティ] ツールボックスで [ストアドプロシージャ] を検索し、パイプラインデザイナー画面に [ストアドプロシージャ] アクティビティをドラッグアンドドロップします。
デザイナー画面に追加したばかりの [ストアドプロシージャ] アクティビティを、次に [設定] タブをを選択し、[リンクサービス] の横にある [+ 新規] をクリックします。 SSIS カタログ (SSIDB データベース) をホストする Azure SQL Database 内のデータベースへの接続を作成します。
[New Linked Service](新しいリンクされたサービス) ウィンドウで、次の手順を行います。
1. [種類] で [Azure SQL Database] を選択します。
2. SSISDB データベースをホストしている Azure SQL Database に接続するために、既定の AutoResolveIntegrationRuntime を選択します。
3. [サーバー名] フィールドで、SSISDB データベースをホストしている Azure SQL Database を選択します。
4. [データベース名] で [SSISDB] を選択します。
5. [ユーザー名] に、データベースにアクセスするユーザーの名前を入力します。
6. [パスワード] に、ユーザーのパスワードを入力します。
7. [テスト接続] ボタンをクリックして、データベースへの接続をテストします。
8. [保存] ボタンをクリックして、リンクされたサービスを保存します。

[設定] タブの [プロパティ] ウィンドウに戻り、次の手順を実行します。

[編集] を選択します。
[ストアドプロシージャ名] フィールドに、「sp_executesql」と入力します。
[ストアドプロシージャパラメーター] セクションで [+ 新規] をクリックします。
パラメーターの [名前] に、「stmt」と入力します。
パラメーターの [型] に、「String」と入力します。

パラメーターの [値] に、次の SQL クエリを入力します。

SQL クエリで、folder_name、project_name、および package_name パラメーターに適切な値を指定します。

DECLARE @return_value INT, @exe_id BIGINT, @err_msg NVARCHAR(150)    EXEC @return_value=[SSISDB].[catalog].[create_execution] @folder_name=N'<FOLDER name in SSIS Catalog>', @project_name=N'<PROJECT name in SSIS Catalog>', @package_name=N'<PACKAGE name>.dtsx', @use32bitruntime=0, @runinscaleout=1, @useanyworker=1, @execution_id=@exe_id OUTPUT    EXEC [SSISDB].[catalog].[set_execution_parameter_value] @exe_id, @object_type=50, @parameter_name=N'SYNCHRONIZED', @parameter_value=1    EXEC [SSISDB].[catalog].[start_execution] @execution_id=@exe_id, @retry_count=0    IF(SELECT [status] FROM [SSISDB].[catalog].[executions] WHERE execution_id=@exe_id)<>7 BEGIN SET @err_msg=N'Your package execution did not succeed for execution ID: ' + CAST(@exe_id AS NVARCHAR(20)) RAISERROR(@err_msg,15,1) END

Azure SQL Database linked service

パイプラインの構成を検証するために、ツールバーの [検証] をクリックします。 [Pipeline Validation Report](パイプライン検証レポート) を閉じるには、>> をクリックします。
[Publish All](すべて発行) ボタンをクリックして、データファクトリにパイプラインを発行します。

パイプラインを実行して監視する

このセクションでは、パイプラインの実行をトリガーして監視します。

パイプラインの実行をトリガーするために、ツールバーの [トリガー] をクリックし、 [Trigger Now](今すぐトリガー) をクリックします。
[Pipeline Run](パイプラインの実行) ウィンドウで [完了] を選択します。
左側で [監視] タブに切り替えます。パイプラインの実行とその状態が、その他の情報 (実行開始時刻など) と共に表示されます。ビューを更新するには、 [Refresh](最新の情報に更新) をクリックします。
[アクション] 列の [View Activity Runs](アクティビティの実行の表示) リンクをクリックします。パイプラインに 1 つしかアクティビティ (ストアドプロシージャアクティビティ) がないので、アクティビティの実行が 1 つだけ表示されます。
次のクエリを SQL データベースの SSISDB データベースに対して実行すると、パッケージが実行されたことを確認できます。
```
select * from catalog.executions
```

Note

また、パイプラインがスケジュール上で実行されるように (時間単位、日次など)、お使いのパイプラインのスケジュールされたトリガーを作成します。例については、「Create a data factory - Data Factory UI」 (データファクトリの作成 - データファクトリ UI ) リンクをご確認ください。

Azure PowerShell

注意

Azure を操作するには、Azure Az PowerShell モジュールを使用することをお勧めします。作業を開始するには、Azure PowerShell のインストールに関する記事を参照してください。 Az PowerShell モジュールに移行する方法については、「AzureRM から Az への Azure PowerShell の移行」を参照してください。

このセクションでは、Azure PowerShell を使用して、SSIS パッケージを呼び出すストアドプロシージャアクティビティを含む Data Factory パイプラインを作成します。

Azure PowerShell のインストールと構成の方法に関するページの手順に従って、最新の Azure PowerShell モジュールをインストールしてください。

Data Factory の作成

Azure-SSIS IR と同じデータファクトリを使用することも、別のデータファクトリを作成することもできます。次の手順では、データファクトリを作成する方法を説明します。このデータファクトリにストアドプロシージャアクティビティを含むパイプラインを作成します。ストアドプロシージャアクティビティが SSISDB データベース内でストアドプロシージャを実行して、SSIS パッケージを実行します。

後で PowerShell コマンドで使用できるように、リソースグループ名の変数を定義します。次のコマンドテキストを PowerShell にコピーし、Azure リソースグループの名前を二重引用符で囲んで指定し、コマンドを実行します。 (例: "adfrg")。
```
$resourceGroupName = "ADFTutorialResourceGroup";
```
リソースグループが既に存在する場合、上書きしないようお勧めします。 $ResourceGroupName 変数に別の値を割り当てて、コマンドをもう一度実行します。
Azure リソースグループを作成するには、次のコマンドを実行します。
```
$ResGrp = New-AzResourceGroup $resourceGroupName -location 'eastus'
```
リソースグループが既に存在する場合、上書きしないようお勧めします。 $ResourceGroupName 変数に別の値を割り当てて、コマンドをもう一度実行します。
データファクトリ名の変数を定義します。

重要

データファクトリ名は、グローバルに一意となるように更新してください。
```
$DataFactoryName = "ADFTutorialFactory";
```
データファクトリを作成するには、$ResGrp 変数の Location および ResourceGroupName プロパティを使用して、次の Set-AzDataFactoryV2 コマンドレットを実行します。
```
$DataFactory = Set-AzDataFactoryV2 -ResourceGroupName $ResGrp.ResourceGroupName -Location $ResGrp.Location -Name $dataFactoryName 
```

以下の点に注意してください。

Azure Data Factory の名前はグローバルに一意にする必要があります。次のエラーが発生した場合は、名前を変更してからもう一度実行してください。
```
The specified Data Factory name 'ADFv2QuickStartDataFactory' is already in use. Data Factory names must be globally unique.
```
Data Factory インスタンスを作成するには、Azure へのログインに使用するユーザーアカウントが、共同作成者ロールまたは所有者ロールのメンバーであるか、Azure サブスクリプションの管理者である必要があります。
現在 Data Factory が利用できる Azure リージョンの一覧については、次のページで目的のリージョンを選択し、 [分析] を展開して [Data Factory] を探してください。リージョン別の利用可能な製品データファクトリで使用するデータストア (Azure Storage、Azure SQL Database など) やコンピューティング (HDInsight など) は他のリージョンに配置できます。

Azure SQL Database のリンクされたサービスを作成する

リンクされたサービスを作成して、SSIS カタログをホストするデータベースをデータファクトリにリンクします。このリンクされたサービスの情報をデータファクトリが使用して、SSISDB データベースに接続し、ストアドプロシージャを実行して SSIS パッケージを実行します。

次の内容を記述した AzureSqlDatabaseLinkedService.json という名前の JSON ファイルを C:\ADF\RunSSISPackage フォルダーに作成します。

重要

<servername>、<username>、<password> を実際の Azure SQL データベースの値に置き換えてから、ファイルを保存してください。

{
    "name": "AzureSqlDatabaseLinkedService",
    "properties": {
        "type": "AzureSqlDatabase",
        "typeProperties": {
            "connectionString": "Server=tcp:<servername>.database.windows.net,1433;Database=SSISDB;User ID=<username>;Password=<password>;Trusted_Connection=False;Encrypt=True;Connection Timeout=30"
        }
    }
}

Azure PowerShell で C:\ADF\RunSSISPackage フォルダーに切り替えます。

Set-AzDataFactoryV2LinkedService コマンドレットを実行して、リンクされたサービス AzureSqlDatabaseLinkedService を作成します。

Set-AzDataFactoryV2LinkedService -DataFactoryName $DataFactory.DataFactoryName -ResourceGroupName $ResGrp.ResourceGroupName -Name "AzureSqlDatabaseLinkedService" -File ".\AzureSqlDatabaseLinkedService.json"

ストアドプロシージャアクティビティを含むパイプラインを作成する

この手順では、ストアドプロシージャアクティビティを含むパイプラインを作成します。このアクティビティは、SSIS パッケージを実行する sp_executesql ストアドプロシージャを呼び出します。

次の内容を記述した RunSSISPackagePipeline.json という名前の JSON ファイルを C:\ADF\RunSSISPackage フォルダーに作成します。

重要

<FOLDER NAME>、<PROJECT NAME>、<PACKAGE NAME> を、SSIS カタログのフォルダー、プロジェクト、パッケージの名前で置き換えてから、ファイルを保存してください。

{
    "name": "RunSSISPackagePipeline",
    "properties": {
        "activities": [
            {
                "name": "My SProc Activity",
                "description":"Runs an SSIS package",
                "type": "SqlServerStoredProcedure",
                "linkedServiceName": {
                    "referenceName": "AzureSqlDatabaseLinkedService",
                    "type": "LinkedServiceReference"
                },
                "typeProperties": {
                    "storedProcedureName": "sp_executesql",
                    "storedProcedureParameters": {
                        "stmt": {
                            "value": "DECLARE @return_value INT, @exe_id BIGINT, @err_msg NVARCHAR(150)    EXEC @return_value=[SSISDB].[catalog].[create_execution] @folder_name=N'<FOLDER NAME>', @project_name=N'<PROJECT NAME>', @package_name=N'<PACKAGE NAME>', @use32bitruntime=0, @runinscaleout=1, @useanyworker=1, @execution_id=@exe_id OUTPUT    EXEC [SSISDB].[catalog].[set_execution_parameter_value] @exe_id, @object_type=50, @parameter_name=N'SYNCHRONIZED', @parameter_value=1    EXEC [SSISDB].[catalog].[start_execution] @execution_id=@exe_id, @retry_count=0    IF(SELECT [status] FROM [SSISDB].[catalog].[executions] WHERE execution_id=@exe_id)<>7 BEGIN SET @err_msg=N'Your package execution did not succeed for execution ID: ' + CAST(@exe_id AS NVARCHAR(20)) RAISERROR(@err_msg,15,1) END"
                        }
                    }
                }
            }
        ]
    }
}

パイプライン RunSSISPackagePipeline を作成するには、Set-AzDataFactoryV2Pipeline コマンドレットを実行します。

$DFPipeLine = Set-AzDataFactoryV2Pipeline -DataFactoryName $DataFactory.DataFactoryName -ResourceGroupName $ResGrp.ResourceGroupName -Name "RunSSISPackagePipeline" -DefinitionFile ".\RunSSISPackagePipeline.json"

出力例を次に示します。

PipelineName      : Adfv2QuickStartPipeline
ResourceGroupName : <resourceGroupName>
DataFactoryName   : <dataFactoryName>
Activities        : {CopyFromBlobToBlob}
Parameters        : {[inputPath, Microsoft.Azure.Management.DataFactory.Models.ParameterSpecification], [outputPath, Microsoft.Azure.Management.DataFactory.Models.ParameterSpecification]}

パイプラインの実行を作成する

Invoke-AzDataFactoryV2Pipeline コマンドレットを使ってパイプラインを実行します。コマンドレットは、将来の監視のために、パイプラインの実行 ID を返します。

$RunId = Invoke-AzDataFactoryV2Pipeline -DataFactoryName $DataFactory.DataFactoryName -ResourceGroupName $ResGrp.ResourceGroupName -PipelineName $DFPipeLine.Name

パイプラインの実行を監視します

次の PowerShell スクリプトを実行し、データのコピーが完了するまで、パイプラインの実行の状態を継続的にチェックします。次のスクリプトをコピーして PowerShell ウィンドウに貼り付け、Enter キーを押します。

while ($True) {
    $Run = Get-AzDataFactoryV2PipelineRun -ResourceGroupName $ResGrp.ResourceGroupName -DataFactoryName $DataFactory.DataFactoryName -PipelineRunId $RunId

    if ($Run) {
        if ($run.Status -ne 'InProgress') {
            Write-Output ("Pipeline run finished. The status is: " +  $Run.Status)
            $Run
            break
        }
        Write-Output  "Pipeline is running...status: InProgress"
    }

    Start-Sleep -Seconds 10
}

トリガーを作成する

前の手順ではオンデマンドでパイプラインを呼び出しました。スケジュールトリガーを作成して、スケジュール (毎時、毎日など) によってパイプラインをトリガーすることもできます。

以下の内容を記述した MyTrigger.json という名前の JSON ファイルを C:\ADF\RunSSISPackage フォルダー内に作成します。

{
    "properties": {
        "name": "MyTrigger",
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Hour",
                "interval": 1,
                "startTime": "2017-12-07T00:00:00-08:00",
                "endTime": "2017-12-08T00:00:00-08:00"
            }
        },
        "pipelines": [{
                "pipelineReference": {
                    "type": "PipelineReference",
                    "referenceName": "RunSSISPackagePipeline"
                },
                "parameters": {}
            }
        ]
    }
}

Azure PowerShell で C:\ADF\RunSSISPackage フォルダーに切り替えます。

Set-AzDataFactoryV2Trigger コマンドレットを実行してトリガーを作成します。

Set-AzDataFactoryV2Trigger -ResourceGroupName $ResGrp.ResourceGroupName -DataFactoryName $DataFactory.DataFactoryName -Name "MyTrigger" -DefinitionFile ".\MyTrigger.json"

既定ではトリガーは停止状態になっています。 Start-AzDataFactoryV2Trigger コマンドレットを使用してトリガーを起動します。
```
Start-AzDataFactoryV2Trigger -ResourceGroupName $ResGrp.ResourceGroupName -DataFactoryName $DataFactory.DataFactoryName -Name "MyTrigger" 
```
Start-AzDataFactoryV2Trigger コマンドレットを実行して、トリガーが起動されていることを確認します。
```
Get-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name "MyTrigger"     
```
時刻の時間部分が次の時間になってから、次のコマンドを実行します。たとえば、現在時刻が午後 3 時 25 分 (UTC) であれば、午後 4 時 (UTC) にコマンドを実行します。
```
Get-AzDataFactoryV2TriggerRun -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -TriggerName "MyTrigger" -TriggerRunStartedAfter "2017-12-06" -TriggerRunStartedBefore "2017-12-09"
```
次のクエリを SQL データベースの SSISDB データベースに対して実行すると、パッケージが実行されたことを確認できます。
```
select * from catalog.executions
```

Azure Portal を使用してパイプラインを監視することもできます。具体的な手順については、「パイプラインの監視」を参照してください。

ストアド プロシージャ アクティビティを使用して SSIS パッケージを実行する

前提条件

Azure SQL データベース

Data Factory

Azure-SSIS 統合ランタイム

ストアド プロシージャ アクティビティを含むパイプラインを作成する

パイプラインを実行して監視する

Azure PowerShell

Data Factory の作成

Azure SQL Database のリンクされたサービスを作成する

ストアド プロシージャ アクティビティを含むパイプラインを作成する

パイプラインの実行を作成する

パイプラインの実行を監視します

トリガーを作成する

関連するコンテンツ

その他のリソース

ストアドプロシージャアクティビティを使用して SSIS パッケージを実行する

ストアドプロシージャアクティビティを含むパイプラインを作成する

ストアドプロシージャアクティビティを含むパイプラインを作成する