Configure a ingestão de streaming no seu cluster Azure Data Explorer usando o portal AzureConfigure streaming ingestion on your Azure Data Explorer cluster using the Azure portal

Utilize a ingestão de streaming para carregar dados quando necessitar de baixa latência entre ingestão e consulta.Use streaming ingestion to load data when you need low latency between ingestion and query. A operação de ingestão de streaming termina em menos de 10 segundos, e os seus dados estão imediatamente disponíveis para consulta após a conclusão.The streaming ingestion operation completes in under 10 seconds, and your data is immediately available for query after completion. Este método de ingestão é adequado para ingerir um grande volume de dados, como milhares de registos por segundo, espalhados por milhares de tabelas.This ingestion method is suitable for ingesting a high volume of data, such as thousands of records per second, spread over thousands of tables. Cada tabela recebe um volume relativamente baixo de dados, como alguns registos por segundo.Each table receives a relatively low volume of data, such as a few records per second.

Utilize a ingestão a granel em vez de transmitir ingestão quando a quantidade de dados ingeridos exceder 4 GB por hora por tabela.Use bulk ingestion instead of streaming ingestion when the amount of data ingested exceeds 4 GB per hour per table.

Para saber mais sobre diferentes métodos de ingestão, consulte a visão geral da ingestão de dados.To learn more about different ingestion methods, see data ingestion overview.

Pré-requisitosPrerequisites

Ativar a ingestão de streaming no seu clusterEnable streaming ingestion on your cluster

Permitir a ingestão de streaming ao mesmo tempo que cria um novo cluster no portal AzureEnable streaming ingestion while creating a new cluster in the Azure portal

Pode ativar a ingestão de streaming enquanto cria um novo cluster Azure Data Explorer.You can enable streaming ingestion while creating a new Azure Data Explorer cluster.

No separador Configurações, selecione streaming ingestion > On.In the Configurations tab, select Streaming ingestion > On.

Ativar a ingestão de streaming enquanto cria um cluster no Azure Data Explorer

Permitir a ingestão de streaming num cluster existente no portal AzureEnable streaming ingestion on an existing cluster in the Azure portal

  1. No portal Azure, aceda ao seu cluster Azure Data Explorer.In the Azure portal, go to your Azure Data Explorer cluster.

  2. Em Definições, selecione Configurações.In Settings, select Configurations.

  3. No painel de configurações, selecione On para ativar a ingestão de streaming.In the Configurations pane, select On to enable Streaming ingestion.

  4. Selecione Guardar.Select Save.

    Ligue a ingestão de streaming no Azure Data Explorer

Aviso

Reveja as limitações antes de permitir a ingestão de vapor.Review the limitations prior to enabling steaming ingestion.

Crie uma tabela-alvo e defina a política no portal AzureCreate a target table and define the policy in the Azure portal

  1. No portal Azure, navegue para o seu aglomerado.In the Azure portal, navigate to your cluster.

  2. Selecione Consulta.Select Query.

    Selecione consulta no portal Azure Data Explorer para permitir a ingestão de streaming

  3. Para criar a tabela que receberá os dados através da ingestão de streaming, copie o seguinte comando para o painel de consultas e selecione Executar.To create the table that will receive the data via streaming ingestion, copy the following command into the Query pane and select Run.

    .create table TestTable (TimeStamp: datetime, Name: string, Metric: int, Source:string)
    

    Criar uma tabela para streaming de ingestão no Azure Data Explorer

  4. Defina a política de ingestão de streaming na tabela que criou ou na base de dados que contém esta tabela.Define the streaming ingestion policy on the table you've created or on the database that contains this table.

    Dica

    Uma política definida ao nível da base de dados aplica-se a todas as tabelas existentes e futuras na base de dados.A policy that is defined at the database level applies to all existing and future tables in the database.

  5. Copie um dos seguintes comandos para o painel de consultas e selecione Executar.Copy one of the following commands into the Query pane and select Run.

    .alter table TestTable policy streamingingestion enable
    

    ouor

    .alter database StreamingTestDb policy streamingingestion enable
    

    Defina a política de ingestão de streaming no Azure Data Explorer

Use a ingestão de streaming para ingerir dados no seu clusterUse streaming ingestion to ingest data to your cluster

São suportados dois tipos de ingestão de streaming:Two streaming ingestion types are supported:

Escolha o tipo adequado de ingestão de streamingChoose the appropriate streaming ingestion type

CritérioCriterion Hub de EventosEvent Hub Ingestão personalizadaCustom Ingestion
Atraso de dados entre o início da ingestão e os dados disponíveis para consultaData delay between ingestion initiation and the data available for query Atraso mais longoLonger delay Atraso mais curtoShorter delay
Despesas gerais de desenvolvimentoDevelopment overhead Configuração rápida e fácil, sem sobrecarga de desenvolvimentoFast and easy setup, no development overhead Alta sobrecarga de desenvolvimento para aplicação para lidar com erros e garantir consistência de dadosHigh development overhead for application to handle errors and ensure data consistency

Desativar a ingestão de streaming no seu clusterDisable streaming ingestion on your cluster

Aviso

A desativação da ingestão de streaming pode demorar algumas horas.Disabling streaming ingestion may take a few hours.

Antes de desativar a ingestão de streaming no seu cluster Azure Data Explorer, deixe cair a política de ingestão de streaming de todas as tabelas e bases de dados relevantes.Before disabling streaming ingestion on your Azure Data Explorer cluster, drop the streaming ingestion policy from all relevant tables and databases. A remoção da política de ingestão de streaming desencadeia a reorganização de dados dentro do seu cluster Azure Data Explorer.The removal of the streaming ingestion policy triggers data rearrangement inside your Azure Data Explorer cluster. Os dados de ingestão de streaming são transferidos do armazenamento inicial para o armazenamento permanente na loja de colunas (extensões ou fragmentos).The streaming ingestion data is moved from the initial storage to permanent storage in the column store (extents or shards). Este processo pode demorar entre alguns segundos a algumas horas, dependendo da quantidade de dados no armazenamento inicial.This process can take between a few seconds to a few hours, depending on the amount of data in the initial storage.

Deixe cair a política de ingestão de streaming no portal AzureDrop the streaming ingestion policy in the Azure portal

  1. No portal Azure, vá ao seu cluster Azure Data Explorer e selecione Consulta.In the Azure portal, go to your Azure Data Explorer cluster and select Query.

  2. Para deixar cair a política de ingestão de streaming da tabela, copie o seguinte comando para o painel de consultas e selecione Executar.To drop the streaming ingestion policy from the table, copy the following command into Query pane and select Run.

    .delete table TestTable policy streamingingestion 
    

    Eliminar a política de ingestão de streaming no Azure Data Explorer

  3. Em Definições, selecione Configurações.In Settings, select Configurations.

  4. No painel de configurações, selecione Off para desativar a ingestão de streaming.In the Configurations pane, select Off to disable Streaming ingestion.

  5. Selecione Guardar.Select Save.

    Desligue a ingestão de streaming no Azure Data Explorer

LimitaçõesLimitations

  • Os cursores de base de dados não são suportados para uma base de dados se a própria base de dados ou qualquer uma das suas tabelas tiver a política de ingestão de streaming definida e ativada.Database cursors aren't supported for a database if the database itself or any of its tables have the Streaming ingestion policy defined and enabled.
  • Os mapeamentos de dados devem ser pré-criados para utilização na ingestão de streaming.Data mappings must be pre-created for use in streaming ingestion. Os pedidos individuais de ingestão de streaming não acomodam mapeamentos de dados inline.Individual streaming ingestion requests don't accommodate inline data mappings.
  • Desempenho de ingestão de streaming e escalas de capacidade com aumento do tamanho de VM e cluster.Streaming ingestion performance and capacity scales with increased VM and cluster sizes. O número de pedidos de ingestão simultânea é limitado a seis por núcleo.The number of concurrent ingestion requests is limited to six per core. Por exemplo, para 16 SKUs de núcleo, tais como D14 e L16, a carga máxima suportada é de 96 pedidos de ingestão simultânea.For example, for 16 core SKUs, such as D14 and L16, the maximal supported load is 96 concurrent ingestion requests. Para dois SKUs de núcleo, como o D11, a carga máxima suportada é de 12 pedidos de ingestão simultânea.For two core SKUs, such as D11, the maximal supported load is 12 concurrent ingestion requests.
  • O limite de tamanho de dados para pedido de ingestão de streaming é de 4 MB.The data size limit for streaming ingestion request is 4 MB.
  • As atualizações de esquemas, como a criação e modificação de tabelas e mapeamentos de ingestão, podem demorar até cinco minutos para o serviço de ingestão de streaming.Schema updates, such as creation and modification of tables and ingestion mappings, may take up to five minutes for the streaming ingestion service. Para obter mais informações consulte a ingestão de streaming e as alterações no esquema.For more information see Streaming ingestion and schema changes.
  • Permitindo a ingestão de streaming num cluster, mesmo quando os dados não são ingeridos através do streaming, utiliza parte do disco SSD local das máquinas de cluster para transmitir dados de ingestão e reduz o armazenamento disponível para cache quente.Enabling streaming ingestion on a cluster, even when data isn't ingested via streaming, uses part of the local SSD disk of the cluster machines for streaming ingestion data and reduces the storage available for hot cache.
  • As etiquetas de extensão não podem ser definidas nos dados de ingestão de streaming.Extent tags can't be set on the streaming ingestion data.
  • Se a ingestão de streaming for utilizada em qualquer uma das tabelas da base de dados, esta base de dados não pode ser utilizada como líder para bases de dados de seguidores ou como fornecedor de dados para a Azure Data Share.If streaming ingestion is used on any of the tables of the database, this database cannot be used as leader for follower databases or as a data provider for Azure Data Share.

Passos seguintesNext steps