Azure Kubernetes en el procesamiento de flujos de eventos

En este artículo se describe una variante de una arquitectura sin servidor controlada por eventos que se ejecuta en Azure Kubernetes Service (AKS) con un escalador de KEDA. La solución ingiere un flujo de datos, los procesa y escribe los resultados en una base de datos de back-end.

Architecture

Descargue un archivo Visio de esta arquitectura.

Flujo de datos

1. AKS con el escalador de KEDA se usa para escalar automáticamente contenedores de Azure Functions en función del número de eventos que deben procesarse.
2. Los eventos llegan al centro de eventos de entrada.
3. La función de anulación del procesamiento por lotes y filtrado de Azure se desencadena para controlar el evento. Este paso filtra los eventos no deseados y anula el procesamiento por lotes de los eventos recibidos antes de enviarlos al centro de eventos de salida.
4. Si la función de anulación del procesamiento por lotes y filtrado de Azure no puede almacenar el evento correctamente, el evento se envía al centro de eventos Mensajes fallidos 1.
5. Los eventos que llegan al centro de eventos de salida desencadenan la función de Azure de transformación. Esta función de Azure transforma el evento en un mensaje para la instancia de Azure Cosmos DB.
6. El evento se almacena en una base de datos de Azure Cosmos DB.

Componentes

• Azure Kubernetes Service (AKS) simplifica la implementación de un clúster de Kubernetes administrado en Azure, ya que descarga la sobrecarga operativa en Azure. Al ser un servicio de Kubernetes hospedado, Azure controla tareas críticas como la supervisión del estado y el mantenimiento.
• KEDA es un escalador automático controlado por eventos que se usa para escalar contenedores en el clúster de Kubernetes en función del número de eventos que deben procesarse.
• Event Hubs ingiere el flujo de datos. Event Hubs está diseñado para escenarios de transmisión de datos de alto rendimiento.
• Azure Functions es una opción de proceso sin servidor. Utiliza un modelo orientado a eventos, en el que un desencadenador invoca un fragmento de código (una función).
• Cosmos DB es un servicio de base de datos de varios modelos que está disponible en un modo sin servidor basado en el consumo. En este escenario, la función de procesamiento de eventos almacena registros JSON mediante Azure Cosmos DB for NoSQL.

Detalles del escenario

En este artículo se describe una arquitectura sin servidor controlada por eventos que se ejecuta en AKS con un escalador de KEDA. La solución ingiere un flujo de datos, los procesa y escribe los resultados en una base de datos de back-end.

Para obtener más información sobre los conceptos básicos, las consideraciones y los enfoques del procesamiento de eventos sin servidor, consulte la arquitectura de referencia de procesamiento de eventos sin servidor.

Posibles casos de uso

Un caso de uso popular para implementar un patrón de procesamiento de flujo de eventos de un extremo a otro incluye el servicio de ingesta de streaming de Event Hubs para recibir y procesar eventos por segundo mediante una lógica de anulación del procesamiento por lotes y de transformación implementada con funciones desencadenadas por un centro de eventos de alta escalabilidad.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Autor principal:

• Rajasa Savant | Ingeniera sénior de desarrollo de software

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes

• Introducción a Azure Kubernetes Service
• Documentación de Azure Event Hubs
• Introducción a Azure Functions
• Documentación de Azure Functions
• Introducción a Azure Cosmos DB
• Elección de una API en Azure Cosmos DB

Recursos relacionados

• Procesamiento de eventos sin servidor es una arquitectura de referencia que detalla una arquitectura típica de este tipo, con ejemplos de código y análisis de las consideraciones importantes.
• Supervisión del procesamiento de eventos sin servidor proporciona información general e instrucciones sobre la supervisión de arquitecturas controladas por eventos sin servidor como esta.
• En Eliminación de la agrupación por lotes y filtrado en el procesamiento de eventos sin servidor con Event Hubs se describe con más detalle cómo funcionan estas partes de la arquitectura.
• Procesamiento de flujos de eventos sin servidor en una red virtual con puntos de conexión privados es una idea de solución para implementar una arquitectura similar en una red virtual con puntos de conexión privados con el fin de mejorar la seguridad.