Monitorar e alertar Data Factory usando Azure MonitorMonitor and Alert Data Factory by using Azure Monitor

• 07/13/2020
• 27 minutos para o fim da leitura
• • d
  • o
  • c
  • O

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Os aplicativos de nuvem são complexos e têm muitas partes móveis.Cloud applications are complex and have many moving parts. Os monitores fornecem dados para ajudar a garantir que seus aplicativos permaneçam em funcionamento em um estado íntegro.Monitors provide data to help ensure that your applications stay up and running in a healthy state. Os monitores também ajudam a evitar possíveis problemas e a solucionar problemas anteriores.Monitors also help you avoid potential problems and troubleshoot past ones. Você pode usar dados de monitoramento para obter informações detalhadas sobre seus aplicativos.You can use monitoring data to gain deep insights about your applications. Esse conhecimento ajuda a melhorar o desempenho e a manutenção do aplicativo.This knowledge helps you improve application performance and maintainability. Ele também ajuda a automatizar ações que, caso contrário, exigem intervenção manual.It also helps you automate actions that otherwise require manual intervention.

O Azure Monitor fornece logs e métricas de infraestrutura de nível básico para a maioria dos serviços do Azure.Azure Monitor provides base-level infrastructure metrics and logs for most Azure services. Os logs de diagnóstico do Azure são emitidos por um recurso e fornecem dados avançados e frequentes sobre a operação do recurso.Azure diagnostic logs are emitted by a resource and provide rich, frequent data about the operation of that resource. Azure Data Factory (ADF) pode gravar logs de diagnóstico no Azure Monitor.Azure Data Factory (ADF) can write diagnostic logs in Azure Monitor. Para uma introdução de sete minutos e uma demonstração desse recurso, assista ao vídeo a seguir:For a seven-minute introduction and demonstration of this feature, watch the following video:

Para saber mais, confira Visão geral do Azure Monitor.For more information, see Azure Monitor overview.

Mantendo Azure Data Factory métricas e dados de execução de pipelineKeeping Azure Data Factory metrics and pipeline-run data

Data Factory armazena dados de execução de pipeline por apenas 45 dias.Data Factory stores pipeline-run data for only 45 days. Use Azure Monitor se desejar manter esses dados por mais tempo.Use Azure Monitor if you want to keep that data for a longer time. Com o monitor, você pode rotear os logs de diagnóstico para análise em vários destinos diferentes.With Monitor, you can route diagnostic logs for analysis to multiple different targets.

• Conta de armazenamento: Salve os logs de diagnóstico em uma conta de armazenamento para auditoria ou inspeção manual.Storage Account: Save your diagnostic logs to a storage account for auditing or manual inspection. Você pode usar as configurações de diagnóstico para especificar o tempo de retenção em dias.You can use the diagnostic settings to specify the retention time in days.
• Hub de eventos: transmita os logs para os hubs de eventos do Azure.Event Hub: Stream the logs to Azure Event Hubs. Os logs tornam-se entrada para uma solução de serviço de parceiro/análise personalizada, como Power BI.The logs become input to a partner service/custom analytics solution like Power BI.
• Log Analytics: analise os logs com log Analytics.Log Analytics: Analyze the logs with Log Analytics. A integração do Data Factory com o Azure Monitor é útil nos seguintes cenários:The Data Factory integration with Azure Monitor is useful in the following scenarios:
  • Você deseja escrever consultas complexas em um conjunto avançado de métricas que são publicadas pelo Data Factory para monitorar.You want to write complex queries on a rich set of metrics that are published by Data Factory to Monitor. Você pode criar alertas personalizados nessas consultas via monitor.You can create custom alerts on these queries via Monitor.
  • Você quer monitorar os data factories.You want to monitor across data factories. Você pode rotear dados de várias fábricas de dados para um único espaço de trabalho de monitoramento.You can route data from multiple data factories to a single Monitor workspace.

Você também pode usar uma conta de armazenamento ou um namespace de Hub de eventos que não esteja na assinatura do recurso que emite logs.You can also use a storage account or event-hub namespace that isn't in the subscription of the resource that emits logs. O usuário que define a configuração deve ter acesso apropriado ao RBAC (controle de acesso baseado em função) do Azure para ambas as assinaturas.The user who configures the setting must have appropriate Azure role-based access control (Azure RBAC) access to both subscriptions.

Definir configurações de diagnóstico e espaço de trabalhoConfigure diagnostic settings and workspace

Crie ou adicione configurações de diagnóstico para seu data factory.Create or add diagnostic settings for your data factory.

1. No portal, vá para monitor.In the portal, go to Monitor. Selecione configurações configurações de > diagnóstico.Select Settings > Diagnostic settings.

2. Selecione o data factory para o qual você deseja definir uma configuração de diagnóstico.Select the data factory for which you want to set a diagnostic setting.

3. Se não existir nenhuma configuração no data factory selecionado, você será solicitado a criar uma configuração.If no settings exist on the selected data factory, you're prompted to create a setting. Selecione Ativar diagnóstico.Select Turn on diagnostics.

   

   Se houver configurações existentes no data factory, você verá uma lista de configurações já configuradas no data factory.If there are existing settings on the data factory, you see a list of settings already configured on the data factory. Selecione Adicionar configuração de diagnóstico.Select Add diagnostic setting.

   

4. Dê um nome à sua configuração, selecione Enviar para log Analytics e, em seguida, selecione um espaço de trabalho no espaço de trabalho log Analytics.Give your setting a name, select Send to Log Analytics, and then select a workspace from Log Analytics Workspace.

   • No modo de diagnóstico do Azure , os logs de diagnóstico fluem para a tabela AzureDiagnostics .In Azure-Diagnostics mode, diagnostic logs flow into the AzureDiagnostics table.

   • No modo específico do recurso , os logs de diagnóstico de Azure data Factory fluxo nas seguintes tabelas:In Resource-Specific mode, diagnostic logs from Azure Data Factory flow into the following tables:

     • ADFActivityRunADFActivityRun
     • ADFPipelineRunADFPipelineRun
     • ADFTriggerRunADFTriggerRun
     • ADFSSISIntegrationRuntimeLogsADFSSISIntegrationRuntimeLogs
     • ADFSSISPackageEventMessageContextADFSSISPackageEventMessageContext
     • ADFSSISPackageEventMessagesADFSSISPackageEventMessages
     • ADFSSISPackageExecutableStatisticsADFSSISPackageExecutableStatistics
     • ADFSSISPackageExecutionComponentPhasesADFSSISPackageExecutionComponentPhases
     • ADFSSISPackageExecutionDataStatisticsADFSSISPackageExecutionDataStatistics

     Você pode selecionar vários logs relevantes para suas cargas de trabalho para enviar para Log Analytics tabelas.You can select various logs relevant to your workloads to send to Log Analytics tables. Por exemplo, se você não usar SQL Server Integration Services (SSIS), não será necessário selecionar nenhum log do SSIS.For example, if you don't use SQL Server Integration Services (SSIS) at all, you need not select any SSIS logs. Se você quiser registrar em log as operações de início/parada/manutenção do SSIS Integration Runtime (IR), poderá selecionar logs de IR do SSIS.If you want to log SSIS Integration Runtime (IR) start/stop/maintenance operations, you can select SSIS IR logs. Se você invocar execuções de pacote SSIS via T-SQL no SQL Server Management Studio (SSMS), SQL Server Agent ou outras ferramentas designadas, poderá selecionar logs de pacote SSIS.If you invoke SSIS package executions via T-SQL on SQL Server Management Studio (SSMS), SQL Server Agent, or other designated tools, you can select SSIS package logs. Se você invocar execuções de pacote SSIS por meio de executar atividades de pacote SSIS em pipelines do ADF, poderá selecionar todos os logs.If you invoke SSIS package executions via Execute SSIS Package activities in ADF pipelines, you can select all logs.

   • Se você selecionar as biométricas, várias métricas de ADF serão disponibilizadas para você monitorar ou gerar alertas no, incluindo as métricas para atividades de ADF, pipeline e execuções de gatilho, bem como para operações de ir do SSIS e execuções de pacote SSIS.If you select AllMetrics, various ADF metrics will be made available for you to monitor or raise alerts on, including the metrics for ADF activity, pipeline, and trigger runs, as well as for SSIS IR operations and SSIS package executions.

   

   Observação

   Como uma tabela de log do Azure não pode ter mais de 500 colunas, é altamente recomendável selecionar o modo específico do recurso.Because an Azure log table can't have more than 500 columns, we highly recommended you select Resource-Specific mode. Para obter mais informações, consulte log Analytics limitações conhecidas.For more information, see Log Analytics Known Limitations.

5. Selecione Salvar.Select Save.

Após alguns instantes, a nova configuração aparecerá na lista de configurações dessa data factory.After a few moments, the new setting appears in your list of settings for this data factory. Os logs de diagnóstico são transmitidos para esse espaço de trabalho assim que novos dados de evento são gerados.Diagnostic logs are streamed to that workspace as soon as new event data is generated. Até 15 minutos podem decorrer entre o momento em que um evento é emitido e quando ele aparece no Log Analytics.Up to 15 minutes might elapse between when an event is emitted and when it appears in Log Analytics.

Instalar a solução de análise de Azure Data Factory do Azure MarketplaceInstall Azure Data Factory Analytics solution from Azure Marketplace

Essa solução fornece um resumo da integridade geral do seu Data Factory, com opções para detalhar os detalhes e solucionar problemas de padrões de comportamento inesperados.This solution provides you a summary of overall health of your Data Factory, with options to drill into details and to troubleshoot unexpected behavior patterns. Com exibições avançadas e prontas para uso, você pode obter informações sobre o processamento de chaves, incluindo:With rich, out of the box views you can get insights into key processing including:

• Resumo rápido de data factory pipeline, atividade e execuções de gatilhoAt a glance summary of data factory pipeline, activity and trigger runs
• Capacidade de analisar data factory execuções de atividade por tipoAbility to drill into data factory activity runs by type
• Resumo de data factory pipeline superior, erros de atividadeSummary of data factory top pipeline, activity errors

1. Vá para o Azure Marketplace, escolha filtro de análise e procure Azure data Factory Analytics (versão prévia)Go to Azure Marketplace, choose Analytics filter, and search for Azure Data Factory Analytics (Preview)

   

2. Detalhes sobre a análise de Azure data Factory (versão prévia)Details about Azure Data Factory Analytics (Preview)

   

3. Selecione criar e, em seguida, criar ou selecionar o espaço de trabalho log Analytics.Select Create and then create or select the Log Analytics Workspace.

   

Monitorar Data Factory métricasMonitor Data Factory metrics

A instalação dessa solução cria um conjunto padrão de modos de exibição dentro da seção pastas de trabalho do espaço de trabalho Log Analytics escolhido.Installing this solution creates a default set of views inside the workbooks section of the chosen Log Analytics workspace. Como resultado, as seguintes métricas são habilitadas:As a result, the following metrics become enabled:

• Execuções do ADF-1) execuções de pipeline por Data FactoryADF Runs - 1) Pipeline Runs by Data Factory
• Execuções do ADF-2) execuções de atividade por Data FactoryADF Runs - 2) Activity Runs by Data Factory
• Execuções do ADF-3) execuções de gatilho por Data FactoryADF Runs - 3) Trigger Runs by Data Factory
• Erros do ADF-1) 10 principais erros de pipeline por Data FactoryADF Errors - 1) Top 10 Pipeline Errors by Data Factory
• Erros do ADF-2) primeiras 10 execuções de atividade por Data FactoryADF Errors - 2) Top 10 Activity Runs by Data Factory
• Erros do ADF-3) 10 principais erros de gatilho por Data FactoryADF Errors - 3) Top 10 Trigger Errors by Data Factory
• Estatísticas do ADF-1) execuções de atividade por tipoADF Statistics - 1) Activity Runs by Type
• Estatísticas do ADF-2) execuções de gatilho por tipoADF Statistics - 2) Trigger Runs by Type
• Estatísticas do ADF-3) duração máxima de execuções de pipelineADF Statistics - 3) Max Pipeline Runs Duration

Você pode visualizar as métricas anteriores, examinar as consultas por trás dessas métricas, editar as consultas, criar alertas e executar outras ações.You can visualize the preceding metrics, look at the queries behind these metrics, edit the queries, create alerts, and take other actions.

Métricas de Data FactoryData Factory Metrics

Com o monitor, você pode obter visibilidade do desempenho e da integridade de suas cargas de trabalho do Azure.With Monitor, you can gain visibility into the performance and health of your Azure workloads. O tipo de dados de monitor mais importante é a métrica, que também é chamada de contador de desempenho.The most important type of Monitor data is the metric, which is also called the performance counter. As métricas são emitidas pela maioria dos recursos do Azure.Metrics are emitted by most Azure resources. O monitor fornece várias maneiras de configurar e consumir essas métricas para monitoramento e solução de problemas.Monitor provides several ways to configure and consume these metrics for monitoring and troubleshooting.

Aqui estão algumas das métricas emitidas pelo Azure Data Factory versão 2:Here are some of the metrics emitted by Azure Data Factory version 2:

Para acessar as métricas, conclua as instruções em Azure monitor plataforma de dados.To access the metrics, complete the instructions in Azure Monitor data platform.

Alertas de Data FactoryData Factory Alerts

Entre no portal do Azure e selecione monitorar > alertas para criar alertas.Sign in to the Azure portal and select Monitor > Alerts to create alerts.

Criar alertasCreate Alerts

1. Selecione + Nova regra de alerta para criar um novo alerta.Select + New Alert rule to create a new alert.

   

2. Defina a condição de alerta.Define the alert condition.

   Observação

   Certifique-se de selecionar tudo na lista suspensa Filtrar por tipo de recurso .Make sure to select All in the Filter by resource type drop-down list.

   

   

   

3. Defina os detalhes do alerta.Define the alert details.

   

4. Defina o grupo de ações.Define the action group.

   

   

   

   

Configurar logs de diagnóstico por meio da API REST do Azure MonitorSet up diagnostic logs via the Azure Monitor REST API

Configurações de DiagnósticoDiagnostic settings

Use as configurações de diagnóstico para configurar os logs de diagnóstico para recursos que não são de computação.Use diagnostic settings to configure diagnostic logs for non-compute resources. As configurações de um controle de recurso têm os seguintes recursos:The settings for a resource control have the following features:

• Eles especificam onde os logs de diagnóstico são enviados.They specify where diagnostic logs are sent. Os exemplos incluem uma conta de armazenamento do Azure, um hub de eventos do Azure ou logs de monitor.Examples include an Azure storage account, an Azure event hub, or Monitor logs.
• Eles especificam quais categorias de log são enviadas.They specify which log categories are sent.
• Eles especificam quanto tempo cada categoria de log deve ser mantida em uma conta de armazenamento.They specify how long each log category should be kept in a storage account.
• Uma retenção de zero dias significa que os logs serão mantidos indefinidamente.A retention of zero days means logs are kept forever. Caso contrário, o valor pode ser qualquer número de dias de 1 a 2.147.483.647.Otherwise, the value can be any number of days from 1 through 2,147,483,647.
• Se as políticas de retenção forem definidas, mas o armazenamento de logs em uma conta de armazenamento estiver desabilitado, as políticas de retenção não terão nenhum efeito.If retention policies are set but storing logs in a storage account is disabled, the retention policies have no effect. Por exemplo, essa condição pode ocorrer quando apenas as opções hubs de eventos ou logs de monitor são selecionadas.For example, this condition can happen when only Event Hubs or Monitor logs options are selected.
• As políticas de retenção são aplicadas por dia.Retention policies are applied per day. O limite entre os dias ocorre no UTC (tempo universal coordenado da meia-noite).The boundary between days occurs at midnight Coordinated Universal Time (UTC). No final de um dia, os logs de dias que estão além da política de retenção são excluídos.At the end of a day, logs from days that are beyond the retention policy are deleted. Por exemplo, se você tiver uma política de retenção de um dia, no início de hoje, os logs de antes de ontem serão excluídos.For example, if you have a retention policy of one day, at the beginning of today the logs from before yesterday are deleted.

Habilitar logs de diagnóstico por meio da API REST do Azure MonitorEnable diagnostic logs via the Azure Monitor REST API

Criar ou atualizar uma configuração de diagnóstico na API REST do monitorCreate or update a diagnostics setting in the Monitor REST API

SolicitaçãoRequest

PUT
https://management.azure.com/{resource-id}/providers/microsoft.insights/diagnosticSettings/service?api-version={api-version}

CabeçalhosHeaders

• Substitua {api-version} por 2016-09-01.Replace {api-version} with 2016-09-01.
• Substitua {resource-id} pela ID do recurso para o qual você deseja editar as configurações de diagnóstico.Replace {resource-id} with the ID of the resource for which you want to edit diagnostic settings. Para obter mais informações, consulte usando grupos de recursos para gerenciar seus recursos do Azure.For more information, see Using Resource groups to manage your Azure resources.
• Defina o cabeçalho Content-Type como application/json.Set the Content-Type header to application/json.
• Defina o cabeçalho de autorização para o token Web JSON obtido do Azure Active Directory (Azure AD).Set the authorization header to the JSON web token that you got from Azure Active Directory (Azure AD). Para obter mais informações, consulte Autenticando solicitações.For more information, see Authenticating requests.

CorpoBody

{
    "properties": {
        "storageAccountId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>/providers/Microsoft.Storage/storageAccounts/<storageAccountName>",
        "serviceBusRuleId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubName>/authorizationrules/RootManageSharedAccessKey",
        "workspaceId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>/providers/Microsoft.OperationalInsights/workspaces/<LogAnalyticsName>",
        "metrics": [
        ],
        "logs": [
                {
                    "category": "PipelineRuns",
                    "enabled": true,
                    "retentionPolicy": {
                        "enabled": false,
                        "days": 0
                    }
                },
                {
                    "category": "TriggerRuns",
                    "enabled": true,
                    "retentionPolicy": {
                        "enabled": false,
                        "days": 0
                    }
                },
                {
                    "category": "ActivityRuns",
                    "enabled": true,
                    "retentionPolicy": {
                        "enabled": false,
                        "days": 0
                    }
                }
            ]
    },
    "location": ""
}

RespostaResponse

200 OK.200 OK.

{
    "id": "/subscriptions/<subID>/resourcegroups/adf/providers/microsoft.datafactory/factories/shloadobetest2/providers/microsoft.insights/diagnosticSettings/service",
    "type": null,
    "name": "service",
    "location": null,
    "kind": null,
    "tags": null,
    "properties": {
        "storageAccountId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>//providers/Microsoft.Storage/storageAccounts/<storageAccountName>",
        "serviceBusRuleId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>//providers/Microsoft.EventHub/namespaces/<eventHubName>/authorizationrules/RootManageSharedAccessKey",
        "workspaceId": "/subscriptions/<subID>/resourceGroups/<resourceGroupName>//providers/Microsoft.OperationalInsights/workspaces/<LogAnalyticsName>",
        "eventHubAuthorizationRuleId": null,
        "eventHubName": null,
        "metrics": [],
        "logs": [
            {
                "category": "PipelineRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "TriggerRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "ActivityRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            }
        ]
    },
    "identity": null
}

Obter informações sobre as configurações de diagnóstico na API REST do monitorGet information about diagnostics settings in the Monitor REST API

SolicitaçãoRequest

GET
https://management.azure.com/{resource-id}/providers/microsoft.insights/diagnosticSettings/service?api-version={api-version}

CabeçalhosHeaders

• Substitua {api-version} por 2016-09-01.Replace {api-version} with 2016-09-01.
• Substitua {resource-id} pela ID do recurso para o qual você deseja editar as configurações de diagnóstico.Replace {resource-id} with the ID of the resource for which you want to edit diagnostic settings. Para obter mais informações, consulte usando grupos de recursos para gerenciar seus recursos do Azure.For more information, see Using Resource groups to manage your Azure resources.
• Defina o cabeçalho Content-Type como application/json.Set the Content-Type header to application/json.
• Defina o cabeçalho de autorização para um token Web JSON que você obteve do Azure AD.Set the authorization header to a JSON web token that you got from Azure AD. Para obter mais informações, consulte Autenticando solicitações.For more information, see Authenticating requests.

RespostaResponse

200 OK.200 OK.

{
    "id": "/subscriptions/<subID>/resourcegroups/adf/providers/microsoft.datafactory/factories/shloadobetest2/providers/microsoft.insights/diagnosticSettings/service",
    "type": null,
    "name": "service",
    "location": null,
    "kind": null,
    "tags": null,
    "properties": {
        "storageAccountId": "/subscriptions/<subID>/resourceGroups/shloprivate/providers/Microsoft.Storage/storageAccounts/azmonlogs",
        "serviceBusRuleId": "/subscriptions/<subID>/resourceGroups/shloprivate/providers/Microsoft.EventHub/namespaces/shloeventhub/authorizationrules/RootManageSharedAccessKey",
        "workspaceId": "/subscriptions/<subID>/resourceGroups/ADF/providers/Microsoft.OperationalInsights/workspaces/mihaipie",
        "eventHubAuthorizationRuleId": null,
        "eventHubName": null,
        "metrics": [],
        "logs": [
            {
                "category": "PipelineRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "TriggerRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "ActivityRuns",
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            }
        ]
    },
    "identity": null
}

Para obter mais informações, consulte configurações de diagnóstico.For more information, see Diagnostic Settings.

Esquema de logs e eventosSchema of logs and events

Monitorar esquemaMonitor schema

Atributos de log de execução de atividadeActivity-run log attributes

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "activityRunId":"",
   "pipelineRunId":"",
   "resourceId":"",
   "category":"ActivityRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "activityName":"",
   "start":"",
   "end":"",
   "properties":
       {
          "Input": "{
              "source": {
                "type": "BlobSource"
              },
              "sink": {
                "type": "BlobSink"
              }
           }",
          "Output": "{"dataRead":121,"dataWritten":121,"copyDuration":5,
               "throughput":0.0236328132,"errors":[]}",
          "Error": "{
              "errorCode": "null",
              "message": "null",
              "failureType": "null",
              "target": "CopyBlobtoBlob"
        }
    }
}

Atributos de log de execução de pipelinePipeline-run log attributes

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "runId":"",
   "resourceId":"",
   "category":"PipelineRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "start":"",
   "end":"",
   "status":"",
   "properties":
    {
      "Parameters": {
        "<parameter1Name>": "<parameter1Value>"
      },
      "SystemParameters": {
        "ExecutionStart": "",
        "TriggerId": "",
        "SubscriptionId": ""
      }
    }
}

Gatilho-executar atributos de logTrigger-run log attributes

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "triggerId":"",
   "resourceId":"",
   "category":"TriggerRuns",
   "level":"Informational",
   "operationName":"",
   "triggerName":"",
   "triggerType":"",
   "triggerEvent":"",
   "start":"",
   "status":"",
   "properties":
   {
      "Parameters": {
        "TriggerTime": "",
       "ScheduleTime": ""
      },
      "SystemParameters": {}
    }
}

Atributos do log do Integration Runtime do SSISSSIS integration runtime log attributes

Aqui estão os atributos de log das operações de início/parada/manutenção do SSIS IR.Here are the log attributes of SSIS IR start/stop/maintenance operations.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "resultType": "",
   "properties": {
      "message": ""
   },
   "resourceId": ""
}

Atributos do log de contexto de mensagem de evento SSISSSIS event message context log attributes

Aqui estão os atributos de log das condições relacionadas às mensagens de evento que são geradas pelas execuções de pacote do SSIS em seu IR do SSIS.Here are the log attributes of conditions related to event messages that are generated by SSIS package executions on your SSIS IR. Eles transmitem informações semelhantes como tabela de contexto de mensagem de evento de catálogo do SSIS (SSISDB) ou exibição que mostra os valores de tempo de execução de muitas propriedades de pacote SSIS.They convey similar information as SSIS catalog (SSISDB) event message context table or view that shows run-time values of many SSIS package properties. Eles são gerados quando você seleciona o Basic/Verbose nível de log e é útil para verificação de conformidade/depuração.They're generated when you select Basic/Verbose logging level and useful for debugging/compliance checking.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "contextDepth": "",
      "packagePath": "",
      "contextType": "",
      "contextSourceName": "",
      "contextSourceId": "",
      "propertyName": "",
      "propertyValue": ""
   },
   "resourceId": ""
}

Atributos de log de mensagens de evento do SSISSSIS event messages log attributes

Aqui estão os atributos de log das mensagens de evento que são geradas pelas execuções de pacote SSIS em seu IR do SSIS.Here are the log attributes of event messages that are generated by SSIS package executions on your SSIS IR. Eles transmitem informações semelhantes à tabela ou exibição de mensagens de evento SSISDB que mostra o texto/metadados detalhados das mensagens de evento.They convey similar information as SSISDB event messages table or view that shows the detailed text/metadata of event messages. Eles são gerados em qualquer nível de log, exceto None .They're generated at any logging level except None.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "messageTime": "",
      "messageType": "",
      "messageSourceType": "",
      "message": "",
      "packageName": "",
      "eventName": "",
      "messageSourceName": "",
      "messageSourceId": "",
      "subcomponentName": "",
      "packagePath": "",
      "executionPath": "",
      "threadId": ""
   }
}

Atributos do log de estatísticas de executável do SSISSSIS executable statistics log attributes

Aqui estão os atributos de log das estatísticas de executável que são gerados pelas execuções de pacote SSIS em seu IR do SSIS, em que os executáveis são contêineres ou tarefas no fluxo de controle de pacotes.Here are the log attributes of executable statistics that are generated by SSIS package executions on your SSIS IR, where executables are containers or tasks in the control flow of packages. Eles transmitem informações semelhantes como tabela ou exibição de estatísticas de executável do SSISDB que mostra uma linha para cada executável em execução, incluindo suas iterações.They convey similar information as SSISDB executable statistics table or view that shows a row for each running executable, including its iterations. Elas são geradas em qualquer nível de log, exceto None e úteis para identificar afunilamentos/falhas no nível de tarefa.They're generated at any logging level except None and useful for identifying task-level bottlenecks/failures.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "executionPath": "",
      "startTime": "",
      "endTime": "",
      "executionDuration": "",
      "executionResult": "",
      "executionValue": ""
   },
   "resourceId": ""
}

Atributos de log de fases do componente de execução do SSISSSIS execution component phases log attributes

Aqui estão os atributos de log das estatísticas de tempo de execução para componentes de fluxo de dados que são gerados pelas execuções de pacote SSIS em seu IR do SSIS.Here are the log attributes of run-time statistics for data flow components that are generated by SSIS package executions on your SSIS IR. Eles transmitem informações semelhantes à tabela ou exibição de fases do componente de execução do SSISDB que mostra o tempo gasto pelos componentes de fluxo de dados em todas as fases de execução.They convey similar information as SSISDB execution component phases table or view that shows the time spent by data flow components in all their execution phases. Eles são gerados quando você seleciona o Performance/Verbose nível de log e é útil para capturar estatísticas de execução de fluxo de dados.They're generated when you select Performance/Verbose logging level and useful for capturing data flow execution statistics.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "subcomponentName": "",
      "phase": "",
      "startTime": "",
      "endTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}

Atributos de log de estatísticas de dados de execução do SSISSSIS execution data statistics log attributes

Aqui estão os atributos de log de movimentação de dados em cada segmento de pipelines de fluxo de dados, de upstream para componentes downstream, que são gerados por execuções de pacote SSIS em seu IR do SSIS.Here are the log attributes of data movements through each leg of data flow pipelines, from upstream to downstream components, that are generated by SSIS package executions on your SSIS IR. Eles transmitem informações semelhantes como tabela de estatísticas de dados de execução do SSISDB ou exibição que mostra as contagens de linha de dados movidos por meio de tarefas de fluxo de dados.They convey similar information as SSISDB execution data statistics table or view that shows row counts of data moved through data flow tasks. Eles são gerados quando você seleciona o Verbose nível de log e é útil para calcular a taxa de transferência do fluxo de dados.They're generated when you select Verbose logging level and useful for computing data flow throughput.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "dataflowPathIdString": "",
      "dataflowPathName": "",
      "sourceComponentName": "",
      "destinationComponentName": "",
      "rowsSent": "",
      "createdTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}

Esquema de Log AnalyticsLog Analytics schema

Log Analytics herda o esquema do monitor com as seguintes exceções:Log Analytics inherits the schema from Monitor with the following exceptions:

• A primeira letra de cada nome de coluna é capitalizada.The first letter in each column name is capitalized. Por exemplo, o nome da coluna "CorrelationId" no monitor é "CorrelationId" em Log Analytics.For example, the column name "correlationId" in Monitor is "CorrelationId" in Log Analytics.

• Não há nenhuma coluna de "nível".There's no "Level" column.

• A coluna dinâmica "Propriedades" é preservada como o tipo de blob JSON dinâmico a seguir.The dynamic "properties" column is preserved as the following dynamic JSON blob type.

  Azure Monitor colunaAzure Monitor column	Log Analytics colunaLog Analytics column	TipoType
  $. Properties. UserProperties$.properties.UserProperties	UserPropertiesUserProperties	DinâmicoDynamic
  $. Properties. Anotações$.properties.Annotations	AnotaçõesAnnotations	DinâmicoDynamic
  $. Properties. Entrada$.properties.Input	EntradaInput	DinâmicoDynamic
  $. Properties. Der$.properties.Output	SaídaOutput	DinâmicoDynamic
  $. Properties. Erro. errorCode$.properties.Error.errorCode	ErrorCodeErrorCode	INTint
  $. Properties. Erro. mensagem$.properties.Error.message	ErrorMessageErrorMessage	stringstring
  $. Properties. Ao$.properties.Error	ErroError	DinâmicoDynamic
  $. Properties. Predecessores$.properties.Predecessors	PredecessoresPredecessors	DinâmicoDynamic
  $. Properties. Parâmetro$.properties.Parameters	ParâmetrosParameters	DinâmicoDynamic
  US $.properties.SystemParameters$.properties.SystemParameters	SystemParametersSystemParameters	DinâmicoDynamic
  $. Properties. Sinalizadores$.properties.Tags	MarcaçõesTags	DinâmicoDynamic

Monitorar operações do SSIS com o Azure MonitorMonitor SSIS operations with Azure Monitor

Para obter & mudar suas cargas de trabalho do SSIS, você pode provisionar o SSIS ir no ADF que dá suporte a:To lift & shift your SSIS workloads, you can provision SSIS IR in ADF that supports:

• Execução de pacotes implantados no catálogo do SSIS (SSISDB) hospedado por uma Instância Gerenciada/servidor do Banco de Dados SQL do Azure (modelo de implantação de projeto)Running packages deployed into SSIS catalog (SSISDB) hosted by Azure SQL Database server/Managed Instance (Project Deployment Model)
• Execução de pacotes implantados no sistema de arquivos, nos Arquivos do Azure ou no banco de dados do SQL Server (MSDB) hospedado pela Instância Gerenciada de SQL do Azure (modelo de implantação de pacote)Running packages deployed into file system, Azure Files, or SQL Server database (MSDB) hosted by Azure SQL Managed Instance (Package Deployment Model)

Depois de provisionado, você pode verificar o status operacional do SSIS ir usando Azure PowerShell ou no Hub de monitoramento do portal do ADF.Once provisioned, you can check SSIS IR operational status using Azure PowerShell or on the Monitor hub of ADF portal. Com o modelo de implantação de projeto, os logs de execução de pacote SSIS são armazenados em tabelas ou exibições internas do SSISDB, para que você possa consultar, analisar e apresentá-los visualmente usando ferramentas designadas como o SSMS.With Project Deployment Model, SSIS package execution logs are stored in SSISDB internal tables or views, so you can query, analyze, and visually present them using designated tools like SSMS. Com o modelo de implantação de pacote, os logs de execução de pacote SSIS podem ser armazenados em arquivos do sistema de arquivos ou do Azure como arquivos CSV que você ainda precisa analisar e processar usando outras ferramentas designadas antes de poder consultá-las, analisá-las e apresentá-las visualmente.With Package Deployment Model, SSIS package execution logs can be stored in file system or Azure Files as CSV files that you still need to parse and process using other designated tools before you can query, analyze, and visually present them.

Agora, com a integração do Azure monitor , você pode consultar, analisar e apresentar visualmente todas as métricas e logs gerados das operações de ir do SSIS e das execuções de pacote do ssis em portal do Azure.Now with Azure Monitor integration, you can query, analyze, and visually present all metrics and logs generated from SSIS IR operations and SSIS package executions on Azure portal. Além disso, você também pode gerar alertas sobre eles.Additionally, you can also raise alerts on them.

Definir configurações de diagnóstico e espaço de trabalho para operações do SSISConfigure diagnostic settings and workspace for SSIS operations

Para enviar todas as métricas e logs gerados das operações de IR do SSIS e das execuções do pacote SSIS para Azure Monitor, você precisa definir as configurações de diagnóstico e o espaço de trabalho para o ADF.To send all metrics and logs generated from SSIS IR operations and SSIS package executions to Azure Monitor, you need to configure diagnostics settings and workspace for your ADF.

Métricas operacionais do SSISSSIS operational metrics

As métricas operacionais do SSIS são contadores de desempenho ou valores numéricos que descrevem o status das operações de início e parada do SSIS ir, bem como as execuções do pacote SSIS em um determinado momento.SSIS operational metrics are performance counters or numerical values that describe the status of SSIS IR start and stop operations, as well as SSIS package executions at a particular point in time. Eles fazem parte das métricas do ADF no Azure monitor.They're part of ADF metrics in Azure Monitor.

Quando você definir as configurações de diagnóstico e o espaço de trabalho para o ADF em Azure Monitor, a seleção da caixa de seleção biométricas disponibilizará as métricas operacionais do SSIS para análise interativa usando o Metrics Explorer do Azure, apresentação no painel do Azuree alertas quase em tempo real.When you configure diagnostic settings and workspace for your ADF on Azure Monitor, selecting the AllMetrics check box will make SSIS operational metrics available for interactive analysis using Azure Metrics Explorer, presentation on Azure dashboard, and near-real time alerts.

Alertas operacionais do SSISSSIS operational alerts

Para gerar alertas em métricas operacionais do SSIS no portal do ADF, Selecione a página alertas & métricas do Hub do Monitor do ADF e siga as instruções passo a passo fornecidas.To raise alerts on SSIS operational metrics from ADF portal, select the Alerts & metrics page of ADF Monitor hub and follow the step-by-step instructions provided.

Para gerar alertas em métricas operacionais do SSIS de portal do Azure, Selecione a página alertas do Hub do Azure Monitor e siga as instruções passo a passo fornecidas.To raise alerts on SSIS operational metrics from Azure portal, select the Alerts page of Azure Monitor hub and follow the step-by-step instructions provided.

Logs operacionais do SSISSSIS operational logs

Os logs operacionais do SSIS são eventos gerados pelas operações de ir do SSIS e pelas execuções do pacote SSIS que fornecem contexto suficiente sobre quaisquer problemas identificados e são úteis para a análise da causa raiz.SSIS operational logs are events generated by SSIS IR operations and SSIS package executions that provide enough context on any identified issues and are useful for root cause analysis.

Ao definir as configurações de diagnóstico e o espaço de trabalho para o ADF em Azure Monitor, você pode selecionar os logs operacionais do SSIS relevantes e enviá-los para Log Analytics com base no Azure Data Explorer.When you configure diagnostic settings and workspace for your ADF on Azure Monitor, you can select the relevant SSIS operational logs and send them to Log Analytics that's based on Azure Data Explorer. Ali, eles serão disponibilizados para análise usando linguagem de consulta avançada, apresentação no painel do Azuree alertas quase em tempo real.In there, they'll be made available for analysis using rich query language, presentation on Azure dashboard, and near-real time alerts.

Os esquemas e o conteúdo dos logs de execução do pacote do SSIS em Azure Monitor e Log Analytics são semelhantes aos esquemas de tabelas ou exibições internas do SSISDB.The schemas and content of SSIS package execution logs in Azure Monitor and Log Analytics are similar to the schemas of SSISDB internal tables or views.

Para obter mais informações sobre atributos/propriedades de log operacional do SSIS, consulte Azure monitor e log Analytics esquemas para ADF.For more info on SSIS operational log attributes/properties, see Azure Monitor and Log Analytics schemas for ADF.

Os logs de execução do pacote SSIS selecionados são sempre enviados para Log Analytics independentemente de seus métodos de invocação.Your selected SSIS package execution logs are always sent to Log Analytics regardless of their invocation methods. Por exemplo, você pode invocar execuções de pacote no SSDT habilitado para Azure, via T-SQL no SSMS, SQL Server Agent ou outras ferramentas designadas, e como execuções disparadas ou de depuração de executar atividades de pacote SSIS em pipelines do ADF.For example, you can invoke package executions on Azure-enabled SSDT, via T-SQL on SSMS, SQL Server Agent, or other designated tools, and as triggered or debug runs of Execute SSIS Package activities in ADF pipelines.

Ao consultar logs de operação de IR do SSIS na análise de logs, você pode usar propriedades OperationName e ResultType que são definidas como Start/Stop/Maintenance e Started/InProgress/Succeeded/Failed , respectivamente.When querying SSIS IR operation logs on Logs Analytics, you can use OperationName and ResultType properties that are set to Start/Stop/Maintenance and Started/InProgress/Succeeded/Failed, respectively.

Ao consultar logs de execução de pacote do SSIS na análise de logs, você pode associá-los usando / as propriedades CorrelationId de operationId ExecutionID / .When querying SSIS package execution logs on Logs Analytics, you can join them using OperationId/ExecutionId/CorrelationId properties. OperationId / ExecutionID sempre é definido como 1 para todas as operações/execuções relacionadas a pacotes não armazenados no SSISDB/invocado via T-SQL.OperationId/ExecutionId are always set to 1 for all operations/executions related to packages not stored in SSISDB/invoked via T-SQL.

Próximas etapasNext steps

Monitorar e gerenciar pipelines programaticamenteMonitor and manage pipelines programmatically