Partilhar via

Análise e armazenamento de consultas históricos no Azure Synapse Analytics

  • Artigo

A análise histórica de consultas é uma das necessidades cruciais dos engenheiros de dados. Azure Synapse Analytics suporta quatro formas principais de analisar o histórico de consultas e o desempenho. Estes incluem Arquivo de Consultas, DMVs, Log Analytics do Azure e Data Explorer do Azure.

Este artigo irá mostrar-lhe como utilizar cada uma destas opções para as suas necessidades. Reveja os casos de utilização quando se trata de analisar o histórico de consultas e o melhor método para cada um.

Necessidade do cliente Query Store (Arquivo de Consultas) DMVs Azure Log Analytics Azure Data Explorer
Solução fora da caixa Precisa de ativação ✔️ Serviço de adição necessário Serviço de adição necessário
Períodos de análise mais longos 30 dias Até 10000 linhas do histórico Personalizável Personalizável
Disponibilidade de métricas cruciais Limitado ✔️ Limitado Personalizável
Utilizar o SQL para análise ✔️ ✔️ KQL necessário O suporte do SQL é limitado

Arquivo de Consultas

A funcionalidade Arquivo de Consultas fornece informações sobre a escolha e o desempenho do plano de consulta. Simplifica a resolução de problemas de desempenho ao ajudar a encontrar rapidamente diferenças de desempenho provocadas por alterações no plano de consulta.

O Arquivo de Consultas não está ativado por predefinição para novas bases de dados do Azure Synapse Analytics. Para ativar o Arquivo de Consultas para executar o seguinte comando T-SQL:

ALTER DATABASE <database_name>
SET QUERY_STORE = ON;

Por exemplo:

ALTER DATABASE [SQLPOOL1]
SET QUERY_STORE = ON;

Pode executar a auditoria de desempenho e a resolução de problemas de tarefas relacionadas ao encontrar as últimas consultas executadas, contagens de execução, consultas de execução mais longas, consultas com oportunidades potenciais de E/S físicas máximas. Veja Monitorizar o Desempenho Ao Utilizar o Arquivo de Consultas para consultas de exemplo.

Vantagens:

  • Até 30 dias de armazenamento para dados de consulta. 7 dias predefinidos.
  • Os dados podem ser consumidos na mesma ferramenta na qual executaria a consulta.

Limitação Conhecida:

  • O armazenamento predefinido de dados de consulta históricos é menor.
  • Os cenários de análise são limitados no Arquivo de Consultas para Azure Synapse em comparação com a utilização de DMVs.

DMVs

As Vistas de Gestão Dinâmica (DMVs) são extremamente úteis quando se trata de recolher informações sobre tempos de espera de consultas, planos de execução, memória, etc. É altamente recomendado etiquetar a consulta de interesse para a localizar mais tarde. Por exemplo:

-- Query with Label
SELECT *
FROM sys.tables
OPTION (LABEL = 'My Query');

Para obter mais informações sobre como etiquetar as consultas no AZURE SYNAPSE SQL, consulte Utilizar etiquetas de consulta no SQL do Synapse.

Para obter mais informações sobre como utilizar DMVs para monitorizar a carga de trabalho do Azure Synapse Analytics, consulte Monitorizar a carga de trabalho do conjunto de SQL dedicado com DMVs. Para obter documentação sobre vistas de catálogo específicas do Azure Synapse Analytics, veja Vistas do Catálogo Azure Synapse Analytics.

Vantagens:

  • Os dados podem ser consumidos na mesma ferramenta de consulta.
  • As DMVs fornecem opções extensas para análise.

Limitações Conhecidas:

  • As DMVs estão limitadas a 10.000 linhas de entradas históricas.
  • As vistas são repostas quando o conjunto é colocado em pausa/retomado.

Log Analytics

As áreas de trabalho do Log Analytics podem ser criadas facilmente no portal do Azure. Para obter mais instruções sobre como ligar o Synapse ao Log Analytics, veja Monitorizar carga de trabalho - portal do Azure.

Tal como o Azure Data Explorer, o Log Analytics utiliza o Linguagem de Pesquisa Kusto (KQL). Para obter mais informações sobre a sintaxe do Kusto, veja Descrição geral da consulta kusto.

Juntamente com o período de retenção configurável, selecione a área de trabalho que está especificamente a direcionar para consulta no Log Analytics. O Log Analytics dá-lhe a flexibilidade para armazenar dados, executar e guardar consultas.

Vantagens:

  • O Azure Log Analytics tem uma política de retenção de registos personalizável

Limitações Conhecidas:

  • A utilização do KQL adiciona à curva de aprendizagem.
  • As vistas limitadas podem ser iniciadas fora da caixa.

Azure Data Explorer (ADX)

O Azure Data Explorer (ADX) é um serviço líder de exploração de dados. Este serviço pode ser utilizado para analisar consultas históricas do Azure Synapse Analytics. Para configurar um pipeline de Azure Data Factory (ADF) para copiar e armazenar registos para o ADX, veja Copiar dados de ou para o Azure Data Explorer. No ADX, pode executar uma consulta Kusto de desempenho para analisar os seus registos. Pode combinar outras estratégias aqui, por exemplo, para consultar e carregar a saída de DMV para o ADX através do ADF.

Vantagens:

  • O ADX fornece uma política de retenção de registo personalizável.
  • Executar a execução de consultas em relação a uma grande quantidade de dados, especialmente consultas que envolvam a pesquisa de cadeias.

Limitação Conhecida:

  • A utilização do KQL adiciona à curva de aprendizagem.

Passos seguintes