Limites de Taxa de Transferência de Entrada de Streaming

  • Artigo

Observação

O serviço TSI (Time Series Insights) não terá mais suporte após março de 2025. Considere migrar os ambientes existentes do TSI para soluções alternativas assim que possível. Para obter mais informações sobre a substituição e migração, acesse nossa documentação.

As limitações de entrada dos dados de entrada do Azure Time Series Insights Gen2 estão descritas abaixo.

Dica

Leia Planejar o ambiente do Azure Time Series Insights Gen2 para obter uma lista abrangente de todos os limites.

Limitações por ambiente

Em geral, as taxas de entrada são exibidas como o fator do número de dispositivos que estão em sua organização, a frequência de emissão de eventos e o tamanho de cada evento:

  • Número de dispositivos × Frequência de emissão de eventos × Tamanho de cada evento.

Por padrão, o Azure Time Series Insights Gen2 pode ingerir dados de entrada a uma taxa de até 1 megabyte por segundo (MBps) ou mil eventos armazenados por segundo por ambiente do Azure Time Series Insights Gen2. Há limitações adicionais por partição de hub. Dependendo de como você modelou seus dados, matrizes de objetos podem ser divididas em vários eventos armazenados: como saber se minha matriz de objetos produzirá vários eventos .

Dica

  • O suporte de ambiente para velocidades de ingestão de até 2 MBps pode ser fornecido por solicitação.
  • Entre em contato conosco se precisar de uma taxa de transferência maior enviando um tíquete de suporte pelo portal do Azure.

  • Exemplo 1:

    O envio da Contoso tem 100.000 dispositivos que emitem um evento três vezes por minuto. O tamanho de um evento é de 200 bytes. Eles estão usando um Hub IoT com quatro partições como a origem do evento do Azure Time Series Insights Gen2.

    • A taxa de ingestão para seu ambiente do Azure Time Series Insights Gen2 seria: 100.000 dispositivos * 200 bytes/evento * (3/60 evento/s) = 1 MBps.
      • No caso de partições balanceadas, a taxa de ingestão por partição seria de 0,25 MBps.
      • A taxa de ingestão da Contoso Shipping estaria dentro das limitações de escala.

  • Exemplo 2:

    A Análise de Frota da Contoso tem 10.000 dispositivos que emitem um evento a cada segundo. Eles estão usando um Hub de Eventos com uma contagem de 2 partições como a origem do evento do Azure Time Series Insights Gen2. O tamanho de um evento é de 200 bytes.

    • A taxa de ingestão do ambiente seria: 10.000 dispositivos * 200 bytes/evento * 1 evento/s = 2 MBps.
      • No caso de partições balanceadas, a taxa por partição seria de 1 MBps.
      • A taxa de ingestão da Análise de Frota da Contoso está acima dos limites do ambiente e da partição. Eles podem enviar uma solicitação para o Azure Time Series Insights Gen2 pelo portal do Azure para aumentar a taxa de ingestão no ambiente deles e criar um Hub de Eventos com mais partições dentro dos limites.

Partições de Hub e limites por partição

Ao planejar seu ambiente do Azure Time Series Insights Gen2, é importante considerar a configuração das origens de eventos com as quais você se conectará ao Azure Time Series Insights Gen2. O Hub IoT do Azure e os Hubs de Eventos utilizam partições para habilitar a escala horizontal para processamento de eventos.

Uma partição é uma sequência ordenada de eventos mantidos em um hub. A contagem de partições é definida durante a fase de criação do hub e não pode ser alterada.

Para consultar as melhores práticas de particionamento de Hubs de Eventos, analise Quantas partições eu preciso?

Observação

A maioria dos Hubs IoT usados com o Azure Time Series Insights Gen2 só precisa de quatro partições.

Se você estiver criando um novo hub para seu ambiente do Azure Time Series Insights Gen2 ou usando um existente, você precisará calcular a taxa de ingestão por partição para determinar se ela está dentro dos limites.

Atualmente, o Azure Time Series Insights Gen2 tem um limite geral por partição de 0,5 MBps ou 500 eventos armazenados por segundo. Dependendo de como você modelou seus dados, matrizes de objetos podem ser divididas em vários eventos armazenados: como saber se minha matriz de objetos produzirá vários eventos .

Considerações específicas do Hub IoT

Quando um dispositivo é criado no Hub IoT, ele é atribuído permanentemente a uma partição. Ao fazer isso, o Hub IoT é capaz de garantir a ordenação de eventos (já que a atribuição nunca é alterada).

Uma atribuição de partição fixa também afeta as instâncias do Azure Time Series Insights Gen2 que estão ingerindo dados enviados do Hub IoT downstream. Quando as mensagens de vários dispositivos são encaminhadas para o Hub usando a mesma ID de dispositivo de gateway, elas podem chegar na mesma partição ao mesmo tempo, potencialmente excedendo os limites de escala por partição.

Impacto:

  • Se uma única partição apresentar uma taxa sustentada de ingestão sobre o limite, é possível que o Azure Time Series Insights Gen2 não sincronize toda a telemetria do dispositivo antes que o período de retenção de dados do Hub IoT seja excedido. Como resultado, os dados enviados podem ser perdidos se os limites de ingestão forem excedidos de modo consistente.

Para atenuar essa situação, recomendamos as seguintes melhores práticas:

  • Calcule suas taxas de ingestão por ambiente e por partição antes de implantar sua solução.
  • Verifique se os dispositivos do Hub IoT têm balanceamento de carga para a extensão mais distante possível.

Importante

Para ambientes que usam o Hub IoT como uma origem de evento, calcule a taxa de ingestão usando o número de dispositivos de hub em uso para ter certeza de que a taxa está abaixo da limitação de 0,5 MBps por partição.

  • Mesmo que vários eventos cheguem simultaneamente, o limite não será excedido.

Diagrama de partição do Hub IoT

Consulte os seguintes recursos para saber mais sobre como otimizar a taxa de transferência e as partições do hub:

Próximas etapas