Proceso de detección de anomalías

Databricks
Service Bus
Cuentas de almacenamiento

Anomaly Detector API permite supervisar y detectar anomalías en los datos de serie temporal sin tener que saber aprendizaje automático. Los algoritmos de Anomaly Detector API se adaptan al identificar y aplicar automáticamente los modelos más idóneos para sus datos, con independencia del sector, el escenario o el volumen de datos. Con el uso de datos de serie temporal, la API determina los límites de la detección de anomalías, los valores esperados y qué puntos de datos son anomalías.

Architecture

Diagrama de la arquitectura

Descargue un SVG de esta arquitectura.

Flujo de datos

  1. Ingiere datos de los distintos almacenes que contienen datos sin procesar que se supervisarán mediante Anomaly Detector.
  2. Agrega, muestrea y calcula los datos sin procesar para generar la serie temporal o llama directamente a la API de Anomaly Detector si la serie temporal ya está preparada y responde con los resultados de la detección.
  3. Pone en cola los metadatos relacionados con anomalías.
  4. La aplicación sin servidor selecciona el mensaje de la cola de mensajes en función de los metadatos relacionados con la anomalía y envía la alerta sobre la anomalía.
  5. Almacena los metadatos relacionados con la detección de anomalías.
  6. Visualiza los resultados de la detección de anomalías de serie temporal.

Componentes

Tecnologías clave que se usan para implementar esta arquitectura:

  • Service Bus: Mensajería de confianza en la nube como servicio (MaaS) e integración híbrida sencilla
  • Azure Databricks: Servicio de análisis rápido, sencillo y de colaboración basado en Apache Spark
  • Power BI: Herramientas de BI de visualización de datos interactivos
  • Cuentas de almacenamiento: Almacenamiento en la nube duradero, de alta disponibilidad y escalable a gran escala
  • Cognitive Services: servicios basados en la nube con las API de REST y los SDK de biblioteca cliente disponibles para ayudarle a generar inteligencia cognitiva en sus aplicaciones.
  • Logic Apps: es una plataforma sin servidor para la creación de flujos de trabajo empresariales que integran aplicaciones, datos y servicios. En esta arquitectura, las aplicaciones lógicas se desencadenan mediante solicitudes HTTP.

Alternativas

  • Event Hubs con Kafka: una alternativa a ejecutar su propio clúster de Kafka. Esta característica de Event Hubs proporciona un punto de conexión que es compatible con las API de Kafka.
  • Azure Synapse Analytics: servicio de análisis que engloba el almacenamiento de datos empresariales y el análisis de macrodatos.
  • Azure Machine Learning: tecnología que permite crear, entrenar, implementar y administrar modelos de aprendizaje automático y detección de anomalías en entornos basados en la nube.

Consideraciones

Escalabilidad

La mayoría de los componentes usados en este escenario de ejemplo son servicios administrados que escalan automáticamente.

Para obtener instrucciones generales sobre cómo diseñar soluciones escalables, consulte la lista de comprobación de eficiencia del rendimiento en el Centro de arquitectura de Azure.

Seguridad

Managed Service Identities para recursos de Azure (MSI) se utiliza para proporcionar a otros recursos internos acceso a su cuenta y, a continuación, se asigna a Azure Functions. Permita el acceso solo a los recursos necesarios en esas identidades para evitar exponer nada que no sea necesario a las funciones (y, potencialmente, a sus clientes).

Para instrucciones generales de diseño de soluciones seguras, consulte Documentación de Azure Security Center.

Resistencia

En este escenario, todos los componentes son administrados, por lo que, en un nivel regional, son resistentes de forma automática.

Para obtener instrucciones generales sobre el diseño de soluciones resistentes, consulte Diseño de aplicaciones resistentes de Azure.

Precios

Para explorar el costo de la ejecución de este escenario, consulte la calculadora rellenada previamente con todos los servicios. Para ver cómo cambiarían los precios en su caso de uso concreto, cambie las variables pertinentes para que coincidan con los volúmenes de tráfico o datos previstos.

Hemos proporcionado tres ejemplos de perfiles de costo según la cantidad de tráfico (hemos dado por hecho que todas las imágenes tienen un tamaño de 100 KB):

  • Calculadora de ejemplo: este ejemplo de precios es una calculadora con todos los servicios de esta arquitectura, excepto Power BI y una solución de alertas personalizada.

Pasos siguientes