Cenário de fluxo de dados

Azure
HDInsight

Ideia da solução Solution Idea

Se você quiser nos ver, expanda este artigo com mais informações, detalhes de implementação, diretrizes de preços ou exemplos de código, fale conosco com os comentários do GitHub!If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

Use o AKS para facilmente ingerir & processar um fluxo de dados em tempo real com milhões de pontos de dados coletados por meio de sensores.Use AKS to easily ingest & process a real-time data stream with millions of data points collected via sensors. Execute análise e cálculos rápidos para desenvolver informações sobre cenários complexos rapidamente.Perform fast analysis and computations to develop insights into complex scenarios quickly.

ArquiteturaArchitecture

Diagrama de arquitetura Baixe um SVG dessa arquitetura.Architecture Diagram Download an SVG of this architecture.

Fluxo de DadosData Flow

  1. Os dados do sensor são gerados e transmitidos para o gerenciamento de API do Azure.Sensor data is generated and streamed to Azure API Management.
  2. O cluster AKS executa o microserviço que é implantado como contêineres por trás de uma malha de serviço.AKS cluster runs microservice that are deployed as containers behind a service mesh. Os contêineres são criados usando um processo DevOps e armazenados no registro de contêiner do Azure.Containers are built using a DevOps process and stored in Azure Container Registry.
  3. O serviço de ingestão armazena dados em um Azure Cosmos DBIngest service stores data in a Azure Cosmos DB
  4. De forma assíncrona, o Analysis Services recebe os dados e os transmite para Apache Kafka e o Azure HDInsight.Asynchronously, the Analysis service receives the data and streams it to Apache Kafka and Azure HDInsight.
  5. Os cientistas de dados podem analisar o Big Data grande para uso em modelos de aprendizado de máquina usando o Splunk.Data scientists can analyze the large big data for use in machine learning models using Splunk.
  6. Os dados são processados pelo serviço de processamento que armazena o resultado no banco de dados do Azure para PostgreSQL e armazena em cache os dados em um cache do Azure para Redis.Data is processed by the processing service which stores the result in Azure Database for PostgreSQL and caches the data in an Azure Cache for Redis.
  7. Um aplicativo Web em execução no serviço Azure App é usado para visualizar os resultados.A web app running in Azure App Service is used to visualize the results.