Executar trabalhos de pesquisa no Azure Monitor
Os trabalhos de pesquisa são consultas assíncronas que buscam registros em uma nova tabela de pesquisa no workspace para análise adicional. O trabalho de pesquisa usa processamento paralelo e pode ser executado por horas em grandes conjuntos de dados. Este artigo descreve como criar um trabalho de pesquisa e como consultar os dados resultantes.
Observação
Atualmente, o recurso de trabalho de pesquisa não tem suporte em workspaces com chaves gerenciadas pelo cliente.
Permissões
Para executar um trabalho de pesquisa, você precisa das permissões Microsoft.OperationalInsights/workspaces/tables/write e Microsoft.OperationalInsights/workspaces/searchJobs/write para o workspace do Log Analytics, por exemplo, conforme fornecido pela função interna de colaborador do Log Analytics.
Quando usar trabalhos de pesquisa
Use um trabalho de pesquisa quando o tempo limite da consulta de log de 10 minutos não for suficiente para pesquisar grandes volumes de dados ou se você estiver executando uma consulta lenta.
Os trabalhos de pesquisa também permitem que você recupere os registros das tabelas de Logs Arquivados e Logs Básicos em uma nova tabela de logs que você pode usar para consultas. Dessa forma, a execução de um trabalho de pesquisa pode ser uma alternativa para:
Restauração de dados de Logs Arquivados para um intervalo de tempo específico.
Use a restauração quando tiver uma necessidade temporária de executar muitas consultas em um grande volume de dados.Como consultar Logs Básicos diretamente e pagar cada consulta.
Para determinar qual alternativa é mais econômica, compare o custo de consultar Logs Básicos com o custo de executar um trabalho de pesquisa e armazenar os resultados dele.
O que um trabalho de pesquisa faz?
Um trabalho de pesquisa envia os resultados para uma nova tabela no mesmo workspace que os dados de origem. A tabela de resultados fica disponível assim que o trabalho de pesquisa é iniciado, mas pode demorar para que os resultados comecem a aparecer.
A tabela de resultados do trabalho de pesquisa é uma tabela do Analytics disponível para consultas de log ou outros recursos do Azure Monitor que usam tabelas em um workspace. A tabela usa o valor de retenção definido para o workspace, mas você pode modificar essa retenção depois que a tabela for criada.
O esquema de tabela de resultados da pesquisa é baseado no esquema de tabela de origem e na consulta especificada. As seguintes colunas adicionais ajudam a acompanhar os registros de origem:
| Coluna | Valor |
|---|---|
| _OriginalType | Valor Type na tabela de origem. |
| _OriginalItemId | Valor _ItemID na tabela de origem. |
| _OriginalTimeGenerated | Valor TimeGenerated na tabela de origem. |
| TimeGenerated | Hora em que o trabalho de pesquisa foi executado. |
As consultas na tabela de resultados são exibidas na auditoria de consulta de log, mas não no trabalho de pesquisa inicial.
Executar um trabalho de pesquisa
Execute um trabalho de pesquisa para buscar registros em grandes conjuntos de dados em uma nova tabela de resultados de pesquisa no workspace.
Dica
Você incorre em encargos para executar um trabalho de pesquisa. Portanto, escreva e otimize a consulta no modo de consulta interativa antes de executar o trabalho de pesquisa.
Para executar um trabalho de pesquisa, no portal do Azure:
No menu do workspace do Log Analytics, selecione Logs.
Selecione o menu de reticências no lado direito da tela e ative o Modo de trabalho de pesquisa.
O Intellisense de Logs do Azure Monitor dá suporte a limitações de consulta KQL no modo de trabalho de pesquisa para ajudar você a escrever sua consulta de trabalho de pesquisa.
Especifique o intervalo de datas do trabalho de pesquisa usando o seletor de hora.
Digite a consulta do trabalho de pesquisa e selecione o botão Trabalho de Pesquisa.
Os Logs do Azure Monitor solicitam que você forneça um nome para a tabela de conjunto de resultados e informam que o trabalho de pesquisa está sujeito à cobrança.
Insira um nome para a tabela de resultados do trabalho de pesquisa e selecione Executar um trabalho de pesquisa.
Os Logs do Azure Monitor executam o trabalho de pesquisa e criam uma tabela em seu workspace para os resultados do trabalho de pesquisa.
Quando a nova tabela estiver pronta, selecione Exibir tablename_SRCH para exibir a tabela no Log Analytics.
Você pode ver os resultados do trabalho de pesquisa à medida que eles começam a fluir para a tabela de resultados do trabalho de pesquisa recém-criada.
Os Logs do Azure Monitor mostram uma mensagem Trabalho de pesquisa concluído no final do trabalho de pesquisa. A tabela de resultados está pronta, com todos os registros que correspondem à consulta de pesquisa.
Obter detalhes e status do trabalho de pesquisa
No menu do workspace do Log Analytics, selecione Logs.
Na guia Tabelas, selecione Resultados da pesquisa para exibir todas as tabelas de resultados do trabalho de pesquisa.
O ícone na tabela de resultados do trabalho de pesquisa exibe uma indicação de atualização até que o trabalho de pesquisa seja concluído.
Excluir uma tabela de trabalhos de pesquisa
É recomendável excluir a tabela de trabalhos de pesquisa quando você terminar a consulta da tabela. Isso reduz a desorganização do workspace e cobranças adicionais pela retenção de dados.
Limitações
Os trabalhos de pesquisa estão sujeitos às seguintes limitações:
- Otimizado para consultar uma tabela de cada vez.
- O intervalo de datas da pesquisa é de até um ano.
- Dá suporte a pesquisas de execução prolongada com um tempo limite de até 24 horas.
- Os resultados são limitados a 1 milhão de registros no conjunto de registros.
- A execução simultânea é limitada a cinco trabalhos de pesquisa por workspace.
- Limite de 100 tabelas de resultados de pesquisa por workspace.
- Limite de 100 execuções de trabalhos de pesquisa por dia por workspace.
Quando você atinge o limite de registro, o Azure anula o trabalho com um status de êxito parcial e a tabela conterá apenas os registros ingeridos até esse ponto.
Limitações da consulta KQL
Os trabalhos de pesquisa destinam-se a examinar grandes volumes de dados em uma tabela específica. Portanto, consultas de trabalho de pesquisa sempre devem começar com um nome de tabela. Para habilitar a execução assíncrona usando distribuição e segmentação, a consulta dá suporte a um subconjunto de KQL, incluindo os operadores:
Você pode usar todas as funções e operadores binários nesses operadores.
Modelo de preços
O custo de um trabalho de pesquisa é baseado em:
- Execução do trabalho de pesquisa – a quantidade de dados que o trabalho de pesquisa examina.
- Resultados do trabalho de pesquisa – a quantidade de dados que o trabalho de pesquisa encontra e é ingerida na tabela de resultados, com base nos preços regulares de ingestão de dados de registro.
Por exemplo, se sua tabela comporta 500 GB por dia, para uma pesquisa de 30 dias, você será cobrado por 15.000 GB de dados digitalizados. Se o trabalho de pesquisa encontrar 1.000 registros que correspondam à consulta de pesquisa, você será cobrado por ingerir esses 1.000 registros na tabela de resultados.
Para saber mais, confira Preço do Azure Monitor.