在 Azure Data Factory 中監視整合執行階段

適用於:Azure Data Factory Azure Synapse Analytics

整合執行階段是 Azure Data Factory (ADF) 所使用的計算基礎結構,可提供跨不同網路環境的各種資料整合功能。 Data Factory 提供三種類型的整合執行階段:

  • Azure 整合執行階段
  • 自我裝載整合執行階段
  • Azure-SQL Server Integration Services (SSIS) 整合執行階段

注意

本文使用 Azure Az PowerShell 模組,這是與 Azure 互動時建議使用的 PowerShell 模組。 若要開始使用 Az PowerShell 模組,請參閱安裝 Azure PowerShell。 若要了解如何遷移至 Az PowerShell 模組,請參閱將 Azure PowerShell 從 AzureRM 遷移至 Az。

若要取得整合執行階段 (IR) 的執行個體狀態,請執行下列 PowerShell 命令:

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status

Cmdlet 會為不同類型的整合執行階段傳回不同的資訊。 本文說明每一種整合執行階段類型的屬性和狀態。

Azure 整合執行階段

可在 Azure 中完整且靈活地管理 Azure 整合執行階段的計算資源。 下表提供 Get-AzDataFactoryV2IntegrationRuntime 命令所傳回之屬性的描述:

屬性

下表提供 Azure 整合執行階段的 Cmdlet 所傳回的屬性說明:

屬性 描述
名稱 Azure 整合執行階段的名稱。
狀態 Azure 整合執行階段的狀態。
位置 Azure 整合執行階段的位置。 如需 Azure 整合執行階段的位置詳細資訊,請參閱整合執行階段簡介
DataFactoryName Azure 整合執行階段所屬的資料處理站名稱。
resourceGroupName 資料處理站所屬的資源群組名稱。
Description 整合執行階段的說明。

狀態

下表提供 Azure 整合執行階段的可能狀態:

狀態 註解/案例
線上 Azure 整合執行階段在線上且可供使用。
離線 Azure 整合執行階段因內部錯誤而離線。

自我裝載整合執行階段

本節提供 Get-AzDataFactoryV2IntegrationRuntime Cmdlet 所傳回之屬性的描述。

注意

傳回的屬性和狀態包含整體的自我裝載整合執行階段,和執行階段中每個節點的相關資訊。

屬性

下表提供每個節點的監視屬性說明:

屬性 描述
名稱 自我裝載整合執行階段及其關聯之節點的名稱。 節點是安裝了自我裝載整合執行階段的內部部署 Windows 電腦。
狀態 整體自我裝載整合執行階段與每個節點的狀態。 範例:線上/離線/限制/其他。如需這些狀態的相關資訊,請參閱下一節。
版本 自我裝載整合執行階段與每個節點的版本。 自我裝載整合執行階段的版本取決於群組中大多數節點的版本。 如果自我裝載整合執行階段設定中有不同版本的節點,則只有版本號碼和邏輯自我裝載整合執行階段的節點會正常運作。 其他節點會進入受限制模式,並需要加以手動更新 (如果自動更新失敗才需要這麼做)。
可用的記憶體 自我裝載整合執行階段節點上的可用記憶體。 這個值是近乎即時的快照集。
CPU 使用率 自我裝載整合執行階段節點的 CPU 使用率。 這個值是近乎即時的快照集。
網路功能 (輸入/輸出) 自我裝載整合執行階段節點的網路使用率。 這個值是近乎即時的快照集。
並行作業 (執行中/限制) 執行中。 每個節點上執行的作業或工作數目。 這個值是近乎即時的快照集。

限制。 限制表示每個節點的最大並行作業數。 這個值會根據機器大小來定義。 您可以提高限制以在進階案例 (即便 CPU、記憶體或網路並未充分使用,而活動照樣會逾時的案例) 中相應增加並行作業執行能力。 這項功能也可與單一節點的自我裝載整合執行階段搭配使用。
角色 多節點的自我裝載整合執行階段中的角色有兩種 – 發送器和背景工作角色。 所有節點都是背景工作角色,這表示它們全都能用來執行作業。 發送器節點只有一個,可用來提取雲端服務中的工作/作業,並發送到不同的背景工作節點。 發送器節點也是背景工作角色節點。

當自我裝載整合執行階段中有兩個或多個節點 (也就是相應放大的案例) 時,屬性的某些設定會比較合理。

並行作業數限制

並行作業數限制的預設值取決於機器大小。 用來計算此值的因素取決於 RAM 的數量和機器的 CPU 核心數目。 因此,核心和記憶體越多時,並行作業數預設限制就越大。

您可以增加節點數目來相應放大。 當您增加節點數目時,並行作業數限制是所有可用的節點的並行作業數限制值的總和。 例如,有一個節點可讓您執行最多十二個並行作業,然後再新增三個類似的節點之後,您能執行的並行作業數最多為 48 個 (也就是 4 x 12)。 我們建議您只有在看到每個節點上的預設值會造成資源使用率偏低的狀況時,才增加並行作業數限制。

您可以覆寫 Azure 入口網站中計算得出的預設值。 依序選取 [作者] > [連線] > [整合執行階段] > [編輯] > [節點] > [修改每個節點的並行作業值]。 您也可以使用 PowerShell update-Azdatafactoryv2integrationruntimenode 命令。

狀態 (每個節點)

下表提供自我裝載整合執行階段節點的可能狀態:

狀態 描述
線上 節點已連線至 Data Factory 服務。
離線 節點已離線。
升級中 節點正在自動更新。
限制 由於連線能力問題。 可能是因為 HTTP 連接埠 8060 問題、服務匯流排連線問題或認證同步問題。
非使用中 節點所在的組態不同於其他大多數節點的組態。

節點無法連線至其他節點時,便會處於非使用中狀態。

狀態 (整體自我裝載整合執行階段)

下表提供自我裝載整合執行階段的可能狀態。 此狀態取決於隸屬於執行階段的所有節點狀態。

狀態 描述
需要註冊 尚未針對此自我裝載整合執行階段註冊節點。
線上 所有節點已連線。
離線 沒有節點在線上。
限制 在此自我裝載整合執行階段中,並非所有節點皆處於健康狀態。 這個狀態是某些節點可能會關閉的警告。 此狀態可能是發送器/背景工作角色節點的認證同步問題所引起。

使用 Get-AzDataFactoryV2IntegrationRuntimeMetric Cmdlet 來擷取包含詳細的自我裝載整合執行階段屬性的 JSON 裝載,及其在執行 Cmdlet 期間的快照集值。

Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json 

輸出範例 (假設此自我裝載整合執行階段有兩個相關節點):

{
	"IntegrationRuntimeName":  "<Name of your integration runtime>",
    "ResourceGroupName":  "<Resource Group Name>",
    "DataFactoryName":  "<Data Factory Name>",
    "Nodes":  [
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		},
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		}

	]
} 

Azure SSIS 整合執行階段

Azure SSIS IR 是完全受控的 Azure 虛擬機器 (VM 或節點) 叢集,專門用來執行 SSIS 套件。 您可以使用多種方法在 Azure-SSIS IR 上叫用 SSIS 套件執行,例如,透過已啟用 Azure 的 SQL Server Data Tools (SSDT)、AzureDTExec 命令列公用程式、SQL Server Management Studio (SSMS)/SQL Server Agent 上的 T-SQL,和 ADF 管線中的執行 SSIS 套件活動。 Azure-SSIS IR 不會執行任何其他 ADF 活動。 佈建之後,您可以透過 Azure PowerShell、Azure 入口網站和 Azure 監視器來監視其整體/節點特定的屬性和狀態。

使用 PowerShell 監視 Azure-SSIS 整合執行階段

使用下列 Azure PowerShell Cmdlet,監視 Azure-SSIS IR 的整體/節點特定屬性和狀態。

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status

屬性

下表提供上方的 Cmdlet 針對 Azure-SSIS IR 傳回之屬性的說明。

屬性/狀態 Description
CreateTime 您的 Azure-SSIS IR 建立時的 UTC 時間。
節點 含特定節點狀態 (啟動中/可用/回收/無法使用中) 的 Azure-SSIS IR 的配置/可用節點,及可採取動作的錯誤。
OtherErrors 您的 Azure-SSIS IR 上非特定節點之可採取動作的錯誤。
LastOperation Azure-SSIS IR 上最後一個啟動/停止作業的結果,含在失敗時可採取動作的錯誤。
狀態 您的 Azure-SSIS IR 的整體狀態 (初始/啟動中/已啟動/停止中/已停止)。
位置 Azure-SSIS IR 的位置。
NodeSize Azure-SSIS IR 中每個節點的大小。
NodeCount Azure-SSIS IR 中的節點數目。
MaxParallelExecutionsPerNode Azure-SSIS IR 中每個節點的平行執行數目上限。
CatalogServerEndpoint 用來裝載 SSIS 目錄 (SSISDB) 的現有 Azure SQL Database 伺服器或受控執行個體的端點。
CatalogAdminUserName 現有 Azure SQL Database 伺服器或受控執行個體的管理員使用者名稱。 ADF 會使用此資訊代表您準備及管理 SSISDB。
CatalogAdminPassword 現有 Azure SQL Database 伺服器或受控執行個體的管理員密碼。
CatalogPricingTier 現有 Azure SQL Database 伺服器所裝載之 SSISDB 的定價層。 不適用於 Azure SQL 受控執行個體裝載 SSISDB。
VNetId Azure-SSIS IR 要加入的虛擬網路資源識別碼。
子網路 Azure-SSIS IR 要加入的子網路名稱。
識別碼 Azure-SSIS IR 的資源識別碼。
類型 Azure-SSIS IR 的 IR 類型 (受控/自我裝載)。
resourceGroupName 您的 ADF 和 Azure-SSIS IR 建立所在之 Azure 資源群組的名稱。
DataFactoryName ADF 的名稱。
名稱 Azure-SSIS IR 的名稱。
Description Azure-SSIS IR 的描述。

狀態 (每個 Azure-SSIS IR 節點)

下表提供 Azure-SSIS IR 節點的可能狀態:

節點特定狀態 描述
啟動中 正在準備此節點。
可用 此節點已準備好部署/執行 SSIS 套件。
回收中 此節點正在修復/重新啟動。
[無法使用] 此節點未準備好部署/執行 SSIS 套件,而且具有可採取動作解決的錯誤/問題。

狀態 (整體 Azure-SSIS IR)

下表提供 Azure-SSIS IR 可能的整體狀態。 整體狀態隨後將取決於屬於 Azure-SSIS IR 之所有節點的合併狀態。

整體狀態 Description
Initial Azure-SSIS IR 的節點尚未配置/備妥。
啟動中 Azure-SSIS IR 的節點正在配置/備妥,且已開始計費。
Started Azure-SSIS IR 的節點已配置/備妥,且已可供部署/執行 SSIS 套件。
停止中 Azure-SSIS IR 的節點正在釋出。
已停止 Azure-SSIS IR 的節點已釋出並停止計費。

在 Azure 入口網站中監視 Azure-SSIS 整合執行階段

若要在 Azure 入口網站中監視您的 Azure-SSIS IR,請在 ADF UI 上移至 [監視] 中樞的 [整合執行階段] 頁面,您可以在此處查看所有整合執行階段。

Monitor all integration runtimes

接著,選取您的 Azure-SSIS IR 名稱以開啟其監視頁面,您可以在此處查看其整體/節點特定的屬性和狀態。 在此頁面上,根據您對 Azure-SSIS IR 的一般、部署和進階設定所做的設定,您會看到不同的資訊/功能圖格。

[類型] 和 [區域] 資訊圖格分別顯示 Azure-SSIS IR 的類型和區域。

[節點大小] 資訊圖格會顯示 SKU (SSIS edition_VM tier_VM 系列)、CPU 核心數目,以及您的 Azure-SSIS IR 每個節點的 RAM 大小。

[執行中/已要求的節點] 資訊圖格會比較目前執行中的節點數目與先前針對 Azure-SSIS IR 要求的節點總數。

[雙重待命配對/角色] 資訊圖格會顯示與商務持續性和災害復原 (BCDR) 的 Azure SQL Database 受控執行個體容錯移轉群組以及 Azure-SSIS IR 目前的主要/次要角色同步運作的雙重待命 Azure-SSIS IR 配對的名稱。 SSISDB 容錯移轉發生時,您的主要和次要 Azure-SSIS IR 將會交換角色 (請參閱設定 BCDR 的 Azure-SSIS IR)。

以下將進一步詳細說明功能圖格。

Monitor your Azure-SSIS IR

狀態圖格

在 Azure-SSIS IR 監視頁面的 [狀態] 圖格上,您可以看到其整體狀態,例如[執行中] 或 [已停止]。 選取 [執行中] 狀態會出現一個快顯視窗,內含用來停止 Azure-SSIS IR 的即時 [停止] 按鈕。 選取 [已停止] 狀態會出現一個快顯視窗,內含用來啟動 Azure-SSIS IR 的即時 [啟動] 按鈕。 快顯視窗中也有 [執行 SSIS 套件] 按鈕,可自動產生 ADF 管線,內含「執行 SSIS 套件活動」可在您的 Azure-SSIS IR 上執行 (請參閱在 ADF 管線中以執行 SSIS 套件活動的形式執行 SSIS 套件),此外還有 [資源識別碼] 文字方塊,可供您從中複製 Azure-SSIS IR 資源識別碼 (/subscriptions/YourAzureSubscripton/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR)。 包含 ADF 和 Azure-SSIS IR 名稱的 Azure-SSIS IR 資源識別碼的尾碼會形成叢集識別碼,可用來向獨立軟體廠商 (ISV) 購買額外的進階/授權 SSIS 元件,並將其繫結至您的 Azure-SSIS IR (請參閱在您的 Azure-SSIS IR 上安裝進階/授權元件)。

Monitor your Azure-SSIS IR - STATUS tile

SSISDB 伺服器端點圖格

如果您使用專案部署模型,且套件儲存在 Azure SQL Database 伺服器或受控執行個體所裝載的 SSISDB 中,則您會在 Azure-SSIS IR 監視頁面上看到 [SSISDB 伺服器端點] 圖格,(請參閱設定 Azure-SSIS IR 部署設定)。 在此圖格上,您可以選取一個連結,以指定由 Azure SQL Database 伺服器或受控執行個體來快顯視窗,供您從文字方塊中複製伺服器端點,並在從 SSMS 連線時將其用來部署、設定、執行及管理套件。 在快顯視窗中,您也可以選取 [查看您的 Azure SQL Database 或受控執行個體設定] 連結,以在 Azure 入口網站中重新設定 SSISDB 或調整其大小。

Monitor your Azure-SSIS IR - SSISDB tile

Proxy/暫存圖格

如果您下載、安裝及設定自我裝載 IR (SHIR) 作為 Proxy,以便 Azure-SSIS IR 存取內部部署資料,則您會在 Azure-SSIS IR 監視頁面上看到 [Proxy/暫存圖格] 圖格,(請參閱將 SHIR 設定為 Azure-SSIS IR 的 Proxy)。 在此圖格上,您可以選取連結,指定由 SHIR 開啟其監視頁面。 您也可以選取另一個連結,指定以暫存的 Azure Blob 儲存體重新設定其連結服務。

驗證 VNet/子網路圖格

如果您將 Azure-SSIS IR 加入 VNet,您會在 Azure-SSIS IR 監視頁面上看到 [驗證 VNet/子網路] 圖格,(請參閱將 Azure-SSIS IR 加入 VNet)。 在此圖格上,您可以選取一個連結,指定由 VNet 和子網路來快顯視窗,以便您從其中的文字方塊複製 VNet 資源識別碼 (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet) 和子網路名稱,以及驗證您的 VNet 和子網路設定,以確保 Azure-SSIS IR 所需的輸入/輸出網路流量和管理不會受到阻礙。

Monitor your Azure-SSIS IR - VALIDATE tile

診斷連線圖格

在 Azure-SSIS IR 監視頁面的 [診斷連線] 圖格上,您可以選取 [測試連線] 連結以快顯視窗,在此處您可以透過其完整網域名稱 (FQDN)/IP 位址和指定的連接埠,檢查 Azure-SSIS IR 與相關套件/設定/資料存放區以及管理服務之間的連線 (請參閱從您的 Azure-SSIS IR 測試連線)。

Monitor your Azure-SSIS IR - DIAGNOSE tile

靜態公用 IP 位址圖格

如果您為 Azure-SSIS IR 自備了靜態公用 IP 位址,您會在 Azure-SSIS IR 監視頁面上看到 [靜態公用 IP 位址] 圖格,(請參閱為 Azure-SSIS IR 自備靜態公用 IP 位址)。 在此圖格上,您可以選取連結,指定由 Azure-SSIS IR 的第一個/第二個靜態公用 IP 位址來快顯視窗,以便您從其中的文字方塊複製其資源識別碼 (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress)。 在快顯視窗中,您也可以選取 [查看您的第一/第二個靜態公用 IP 位址設定] 連結,以在 Azure 入口網站中管理您的第一個/第二個靜態公用 IP 位址。

Monitor your Azure-SSIS IR - STATIC tile

套件存放區圖格

如果您使用套件部署模型,並將套件儲存在 Azure SQL 受控執行個體所裝載的檔案系統/Azure 檔案儲存體/SQL Server 資料庫 (MSDB) 中,且透過 Azure-SSIS IR 套件存放區加以管理,則您會在 Azure-SSIS IR 監視頁面上看到 [套件存放區] 圖格 (請參閱設定 Azure-SSIS IR 部署設定)。 在此圖格上,您可以選取一個連結,指定連結至 Azure-SSIS IR 的套件存放區數目以快顯視窗,以便在您的 Azure SQL 受控執行個體所裝載的檔案系統/Azure 檔案儲存體/MSDB 上,重新設定 Azure-SSIS IR 套件存放區的相關連結服務。

Monitor your Azure-SSIS IR - PACKAGE tile

錯誤圖格

如果 Azure-SSIS IR 的啟動/停止/維護/升級發生問題,您會在 Azure-SSIS IR 監視頁面上看到額外的 [錯誤] 圖格。 在此圖格上,您可以選取一個連結 (指定您的 Azure-SSIS IR 所產生的錯誤數目) 以快顯視窗,您可以在其中詳細查看這些錯誤,並複製這些錯誤,以在疑難排解指南中找到建議的解決方案,(請參閱對您的 Azure-SSIS IR 進行疑難排解)。

Monitor your Azure-SSIS IR - ERROR tile

使用 Azure 監視器來監視 Azure-SSIS 整合執行階段

若要使用 Azure 監視器來監視您的 Azure-SSIS IR,請參閱使用 Azure 監視器來監視 SSIS 作業

深入了解 Azure-SSIS 整合執行階段

請參閱下列文章以深入了解 Azure SSIS 整合執行階段:

下一步

請參閱以下文章,以不同的方式監視管線: