Monitorar e otimizar o desempenho do gateway de dados local
Monitoramento do desempenho do gateway (versão prévia pública)
Para monitorar o desempenho, os administradores do gateway costumavam depender do monitoramento manual dos contadores de desempenho por meio da ferramenta Monitor de Desempenho do Windows. Agora oferecemos registro em log de consulta adicional e um arquivo de modelo PBI de Desempenho de Gateway para exibir os resultados. Esse recurso fornece novos insights sobre o uso do gateway. Você pode usá-lo para solucionar problemas em consultas com desempenho lento.
Observação
No momento, esse recurso está disponível apenas para o gateway de dados local no modo padrão. Ele não está disponível para o modo pessoal.
Observação
O diagnóstico de gateway não captura diagnósticos diretamente relacionados ao computador (virtual) e à respectiva rede, como largura de banda ou latência. No entanto, esses diagnósticos podem afetar o desempenho do gateway. Você pode usar ferramentas de monitoramento de recursos para monitorar o computador.
Log de desempenho
Esse recurso agora está ativado por padrão.
Observação
- No momento, as consultas da capacidade Premium ao gateway às vezes são perdidas neste registro em log. Estamos trabalhando ativamente para corrigir esse problema.
- No momento, as consultas de relatório paginado do Power BI não são registradas usando essa ferramenta.
Configurar o log de desempenho
Há outros valores no arquivo de configuração C:\Program Files\On-premises data gateway\Microsoft.PowerBI.DataMovement.Pipeline.GatewayCore.dll.config que você pode atualizar conforme o necessário:
- ReportFilePath: determina o caminho em que os quatro arquivos de log são armazenados. Por padrão, esse caminho é \Users\PBIEgwService\AppData\Local\Microsoft\On-premises data gateway\Report ou \Windows\ServiceProfiles\PBIEgwService\AppData\Local\Microsoft\On-premises data gateway\Report. O caminho depende da versão do sistema operacional. Se você usar uma conta de serviço para o gateway que não seja a PBIEgwService, substitua essa parte do caminho pelo nome da conta de serviço.
- ReportFileCount: determina o número de arquivos de log de cada tipo a serem retidos. O valor padrão é 10.
- ReportFileSizeInBytes: determina o tamanho do arquivo a ser mantido. O valor padrão é 104.857.600.
- QueryExecutionAggregationTimeInMinutes: determina o número de minutos em que as informações de execução da consulta devem ser agregadas. O valor padrão é 5.
- SystemCounterAggregationTimeInMinutes: determina o número de minutos em que o contador do sistema é agregado. O valor padrão é 5.
Depois de fazer as alterações no arquivo de configuração, reinicie o gateway para que esses valores de configuração entrem em vigor. Agora os arquivos de relatório estão sendo gerados no local especificado para ReportFilePath.
Observação
Podem ser necessários até dez minutos mais o tempo definido em QueryExecutionAggregationTimeInMinutes no arquivo de configuração para que os arquivos comecem a aparecer na pasta.
Entender os logs de desempenho
Quando você ativa esse recurso, quatro novos arquivos de log são criados:
- O Relatório de execução de consulta
- O Relatório de início de consulta
- O Relatório de agregação de execução de consulta
- O Relatório de agregação do contador do sistema
O Relatório de execução de consulta contém informações detalhadas sobre a execução da consulta. Os atributos a seguir são capturados.
| Atributo | Descrição |
|---|---|
| GatewayObjectId | Identificador exclusivo do gateway. |
| RequestId | Identificador exclusivo de uma solicitação de gateway. Pode ser o mesmo para várias consultas. |
| DataSource | Contém a fonte de dados e seu tipo. |
| QueryTrackingId | Identificador exclusivo de uma consulta. No entanto, ele poderá ser repetido se uma consulta falhar e houver uma repetição. |
| QueryExecutionEndTimeUTC | Hora em que a execução da consulta foi concluída. |
| QueryExecutionDuration (ms) | Duração de uma execução de consulta. |
| QueryType | Tipo de consulta. Por exemplo, a consulta passada pode ser uma atualização do Power BI ou DirectQuery. Ou podem ser consultas do Power Apps e do Power Automate. |
| DataProcessingEndTimeUTC | Hora em que as atividades de processamento de dados, como spool, recuperação de dados, compactação e processamento de dados, são concluídas. |
| DataProcessingDuration (ms) | Duração das atividades de processamento de dados, como spool, recuperação de dados, compactação e processamento de dados. |
| Êxito | Indica se a consulta foi bem-sucedida ou falhou. |
| ErrorMessage | Se a consulta falhar, indicará a mensagem de erro. |
| SpoolingDiskWritingDuration (ms) | Indica o tempo necessário para que o gateway grave todos os dados no disco |
| SpoolingDiskReadingDuration (ms) | Indica o tempo necessário para que o gateway leia todos os dados no disco |
| SpoolingTotalDataSize (bytes) | Tamanho (compactado) dos dados gravados/lidos no disco |
| DataReadingAndSerializationDuration (ms) | Indica o tempo necessário para que o gateway leia os dados da fonte de dados e serialize-os em pacotes. |
| DiskRead (byte/s) | Indica os bytes lidos pelo gateway por segundo. DiskRead(byte/sec) = SpoolingTotalDataSize / SpoolingDiskReadingDuration |
| DiskWrite (byte/s) | Indica os bytes gravados pelo gateway por segundo. DiskWrite(byte/sec) = SpoolingTotalDataSize / SpoolingDiskWritingDuration |
O Relatório de início da consulta contém a consulta e sua hora de início. Os atributos a seguir são capturados.
Observação
O EvaluationContext aparece sem que o registro em log adicional seja habilitado para fluxos de dados do Power BI e o Dataflow Gen2 somente para usuários com licenças Pro. Você ainda precisa de log adicional habilitado para exibir o EvaluationContext para fluxos de dados do Power BI para usuários em licenças Premium.
| Atributo | Descrição |
|---|---|
| GatewayObjectId | Identificador exclusivo do gateway. |
| RequestId | Identificador exclusivo de uma solicitação de gateway. Pode ser o mesmo para várias consultas. |
| DataSource | Contém a fonte de dados e seu tipo. |
| QueryTrackingId | Identificador exclusivo de uma consulta. No entanto, ele poderá ser repetido se uma consulta falhar e houver uma repetição. |
| QueryExecutionStartTimeUTC | Hora em que a execução da consulta começou. |
| QueryType | Tipo de consulta. Por exemplo, a consulta passada pode ser uma atualização do Power BI ou DirectQuery. Ou podem ser consultas do Power Apps e do Power Automate. |
| QueryText | Consulta completa codificada em base64. |
| EvaluationContext | Contém o artifactId (ou seja, ModelID, DataflowsId) juntamente com dados adicionais, dependendo do artefato. Observe que este campo só é preenchido para fluxos de dados do Dataflow Gen2 e do Power Platform. |
O Relatório de agregação de execução de consulta contém informações de consulta agregadas em um intervalo de tempo por GatewayObjectId, DataSource, Success e QueryType. O valor padrão é 5 minutos, mas você pode ajustá-lo. Os atributos a seguir são capturados.
| Atributo | Descrição |
|---|---|
| GatewayObjectId | Identificador exclusivo do gateway. |
| AggregationStartTimeUTC | Início da janela de tempo na qual os atributos da consulta foram agregados. |
| AggregationEndTimeUTC | Término da janela de tempo na qual os atributos da consulta foram agregados. |
| DataSource | Contém a fonte de dados e seu tipo. |
| Êxito | Indica se a consulta foi bem-sucedida ou falhou. |
| AverageQueryExecutionDuration (ms) | Tempo médio de execução da consulta da janela de tempo de agregação. |
| MaxQueryExecutionDuration (ms) | Tempo máximo de execução da consulta da janela de tempo de agregação. |
| MinQueryExecutionDuration (ms) | Tempo mínimo de execução da consulta da janela de tempo de agregação. |
| QueryType | Tipo de consulta. Por exemplo, a consulta passada pode ser uma atualização do Power BI ou DirectQuery. Ou podem ser consultas do Power Apps e do Power Automate. |
| AverageDataProcessingDuration (ms) | Tempo médio das atividades de processamento de dados, como spool, recuperação de dados, compactação e processamento de dados da janela de tempo de agregação. |
| MaxDataProcessingDuration (ms) | Tempo máximo das atividades de processamento de dados, como spool, recuperação de dados, compactação e processamento de dados da janela de tempo de agregação. |
| MinDataProcessingDuration (ms) | Tempo mínimo das atividades de processamento de dados, como spool, recuperação de dados, compactação e processamento de dados da janela de tempo de agregação. |
| Count | Número de consultas. |
O Relatório de agregação do contador do sistema contém valores do contador do sistema agregados em intervalo de tempo. O valor padrão é 5 minutos, mas você pode ajustá-lo. Os atributos a seguir são capturados.
| Atributo | Descrição |
|---|---|
| GatewayObjectId | Identificador exclusivo do gateway. |
| AggregationStartTimeUTC | Início da janela de tempo dos contadores do sistema que foram agregados. |
| AggregationEndTimeUTC | Final da janela de tempo dos contadores do sistema que foram agregados. |
| CounterName | Os contadores do sistema se aplicam a um servidor que está hospedando um nó de gateway e incluem: • SystemCPUPercent: CPU usada no servidor como uma porcentagem do total de CPU disponível. • SystemMEMUsedPercent: memória usada no servidor como um percentual da memória total disponível. • GatewayCPUPercent: a soma da porcentagem da CPU usada pelo processo de gateway em cada núcleo. Para obter a porcentagem da CPU usada no servidor, divida o GatewayCPUPercent pelo número de núcleos. • GatewayMEMKb: soma da memória total em quilobytes usados pelo processo de gateway. |
| Max | Valor máximo do contador do sistema da janela de tempo de agregação. |
| Min | Valor mínimo do contador do sistema da janela de tempo de agregação. |
| Média | Valor médio do contador do sistema da janela de tempo de agregação. |
Visualizar o desempenho do gateway
Agora, você pode visualizar os dados que estão nos arquivos de log.
Baixe o Modelo PBI de desempenho do gateway e abra-o usando o Power BI Desktop.
Na caixa de diálogo aberta, verifique se o caminho da pasta corresponde ao valor em ReportFilePath.
Selecione Carregar e o arquivo de modelo começará a carregar os dados dos arquivos de log. Todos os visuais são populados usando os dados nos relatórios.
Opcionalmente, salve esse arquivo como PBIX e publique-o em seu serviço para atualizações automáticas. Para saber mais, acesse Publicar modelos semânticos e relatórios do Power BI Desktop.
Você também pode personalizar o arquivo de modelo para atender às suas necessidades. Para obter mais informações sobre modelos do Power BI, para essa postagem no blog do Microsoft Power BI.
Monitoramento do armazenamento de spool
Por padrão, o armazenamento de spool do gateway está localizado em C:\Users\PBIEgwService\AppData\Local\Microsoft\On-premises data gateway\Spooler. Monitore esse local para garantir que haja espaço em disco livre adequado. Mais informações: Dados de spooling de gateway
Monitorando a simultaneidade do membro do gateway
Por padrão, o limite para o número de consultas que podem ser executadas simultaneamente em um nó de gateway é 40. Atingir esse limite geralmente fará com que as consultas de entrada fiquem na fila de execuções pendentes por um longo tempo, o que resultará em degradação de desempenho e erros do tipo tempo limite. Se você suspeitar que um membro do gateway está atingindo esse limite, habilite registro em log adicional, exporte os logs de gateway, dê uma olhada nos arquivos Mashup*.log, procure pelas palavras-chave "runningCount" e "pendingCount" e verifique se "runningCount" geralmente está perto de 40 ou se "pendingCount" geralmente está acima de zero. Consulte este documento para obter mais detalhes sobre como planejar e dimensionar seu gateway.
Consultas com desempenho lento
As consultas de execução prolongada podem exigir modificação adicional na fonte de dados ou otimização adicional da própria consulta. Isso pode ser para atualizações do Power BI ou para consultas de banco de dados diretas, como DirectQuery do Power BI, Power Apps ou Aplicativos Lógicos do Azure.
Por padrão, o gateway realiza o log básico. Se você estiver investigando consultas de desempenho lento, além de usar o recurso de monitoramento de desempenho, habilite temporariamente o Registro em log adicional para coletar informações de log adicionais, incluindo logs do mecanismo de mashup, cadeias de caracteres de consulta e rastreamento de nível detalhado. Esses logs são gravados no mesmo lugar que os logs de gateway normais. Para fazer isso, no aplicativo de gateway de dados local, selecione Diagnóstico>Log adicional.
Habilitar essa configuração provavelmente aumentará o tamanho do log de maneira significativa, com base no uso do gateway. Recomendamos que, depois de concluir a revisão dos logs, você desabilite o registro em log adicional. Não recomendamos deixar essa configuração habilitada durante o uso normal do gateway.
Otimizar o desempenho por streaming de dados
Por padrão, o gateway de dados local executa spool dos dados antes de devolvê-los ao modelo semântico, potencialmente causando um desempenho mais lento durante as operações de carregamento e atualização de dados. O comportamento padrão pode ser substituído.
No arquivo C:\Program Files\On-Premises data gateway\Microsoft.PowerBI.DataMovement.Pipeline.GatewayCore.dll.config, defina a configuração StreamBeforeRequestCompletes como True e salve-a.
<setting name="StreamBeforeRequestCompletes" serializeAs="String"> <value>True</value> </setting>Em Gateway de dados local>Configurações do Serviço, reinicie o gateway.
Otimizar o desempenho excluindo pastas específicas da verificação antivírus
Para evitar possíveis impactos de desempenho, determinadas pastas podem ser excluídas da verificação de antivírus quando você usa um software antivírus no nível de arquivo no servidor em que um gateway de dados local está instalado. Se essas pastas não forem excluídas, você poderá observar os impactos de desempenho e, potencialmente, outros comportamentos inesperados, pois essas pastas recebem uma grande quantidade de operações de gravação e são, no núcleo, pipelines de dados do gateway de dados local.
Pastas que podem precisar ser excluídas da verificação antivírus no servidor de gateway de dados local
Observação
A unidade do titular do local a seguir representa a letra da unidade na qual o gateway de dados local está instalado. Normalmente, a letra do driver é C. O ServiceAccount do titular do local a seguir representa a conta de serviço que está executando o gateway de dados local. A conta padrão é PBIEgwService.
- Diretório de log: Drive:\Windows\ServiceProfiles\ ServiceAccount \AppData\Local\Microsoft\On-premises data gateway
- Diretório de armazenamento do Spool: Drive:\Windows\ServiceProfiles\ ServiceAccount \AppData\Local\Microsoft\On-premises data gateway\Spooler
Próximas etapas
Comentários
Em breve: Ao longo de 2024, eliminaremos os problemas do GitHub como o mecanismo de comentários para conteúdo e o substituiremos por um novo sistema de comentários. Para obter mais informações, consulte https://aka.ms/ContentUserFeedback.
Enviar e exibir comentários de