Procesamiento de flujos de eventos sin servidor en una red virtual con puntos de conexión privados

Private Link
Event Hubs
Functions
Cosmos DB

Idea de solución

Si le gustaría que expandamos este artículo con más información, como posibles casos de uso, servicios alternativos, consideraciones de implementación o una guía de precios, comuníquese a través de los Comentarios de GitHub.

Esta idea de solución muestra una variación de una arquitectura sin servidor orientada a eventos que ingiere un flujo de datos, procesa los datos y escribe los resultados en una base de datos de back-end. En este ejemplo, la solución se hospeda dentro de una red virtual con todos los recursos de Azure detrás de puntos de conexión privados.

Para más información sobre los conceptos básicos, las consideraciones y los enfoques para el procesamiento de eventos sin servidor, consulte la arquitectura de referencia Procesamiento de eventos sin servidor.

Posibles casos de uso

Un caso de uso popular para implementar un patrón de procesamiento de flujo de eventos de un extremo a otro incluye el servicio de ingesta de streaming de Event Hubs para recibir y procesar eventos por segundo mediante una lógica de eliminación de la agrupación por lotes y transformación implementada con funciones desencadenadas por un centro de evento altamente escalables.

Architecture

Diagrama que muestra los datos que fluyen a una red virtual y, a continuación, se procesan mediante la arquitectura descrita en este artículo.

  1. La integración con la red virtual se usa para colocar todos los recursos de Azure detrás de puntos de conexión privados de Azure.
  2. Los eventos llegan al centro de eventos de entrada.
  3. La función de eliminación de la agrupación por lotes y filtrado de Azure se desencadena para controlar el evento. Con este paso se filtran los eventos no deseados y se elimina la agrupación por lotes de los eventos recibidos antes de su envío al centro de eventos de salida.
  4. Si la función de eliminación de la agrupación por lotes y filtrado de Azure no puede almacenar el evento correctamente, el evento se envía al centro de eventos Deadletter 1.
  5. Los eventos que llegan al centro de eventos de salida desencadenan la función de Azure de transformación. Esta función de Azure transforma el evento en un mensaje para Cosmos DB.
  6. El evento se almacena en una base de datos de Cosmos DB.
  7. Si la función de transformación de Azure no puede almacenar el evento correctamente, el evento se guarda en el centro de eventos Deadletter 2.

Nota

Para simplificar, las subredes no se muestran en el diagrama.

Componentes

  • Un punto de conexión privado de Azure es una interfaz de red que le conecta de forma privada y segura a un servicio por medio de la tecnología Azure Private Link. El punto de conexión privado usa una dirección IP privada de la red virtual, colocando el servicio de manera eficaz en su red virtual.
  • Event Hubs ingiere el flujo de datos. Event Hubs está diseñado para escenarios de transmisión de datos de alto rendimiento.
  • Azure Functions es una opción de proceso sin servidor. Utiliza un modelo orientado a eventos, en el que un desencadenador invoca un fragmento de código (una función).
  • Cosmos DB es un servicio de base de datos de varios modelos que está disponible en un modo sin servidor basado en el consumo. En este escenario, la función de procesamiento de eventos almacena registros JSON, para lo que usa SQL API de Cosmos DB.

Pasos siguientes