Esta solución almacena los registros de seguridad a largo plazo en Azure Data Explorer. Esta solución minimiza los costos y proporciona un acceso sencillo cuando es necesario consultar los datos.
Grafana y Jupyter Notebook son marcas comerciales de sus respectivas empresas. El uso de estas marcas no implica ninguna aprobación.
Architecture
Descargue un archivo Visio de esta arquitectura.
Flujo de datos
Para SIEM y SOAR, una empresa usa Sentinel y Defender for Endpoint.
Defender for Endpoint usa la funcionalidad nativa para exportar datos a Azure Event Hubs y Azure Data Lake. Sentinel ingiere datos de Defender for Endpoint para supervisar dispositivos.
Sentinel usa Log Analytics como plataforma de datos para exportar datos a Event Hubs y Azure Data Lake.
Azure Data Explorer usa conectores para Event Hubs, Azure Blob Storage y Azure Data Lake Storage para ingerir datos con baja latencia y alto rendimiento. Este proceso usa Azure Event Grid, que desencadena la canalización de ingesta de datos de Azure Data Explorer.
Si es necesario, Azure Data Explorer exporta continuamente los registros de seguridad a Azure Storage. Estos registros están en formato Parquet comprimido y con particiones y, además, están listos para consultarlos.
Para cumplir los requisitos normativos, Azure Data Explorer exporta los datos agregados previamente a Data Lake Storage para el archivado.
Log Analytics y Sentinel admiten consultas entre servicios con Azure Data Explorer. Los analistas de SOC usan esta funcionalidad para ejecutar investigaciones de rango completo sobre los datos de seguridad.
Azure Data Explorer proporciona funcionalidades nativas para procesar, agregar y analizar datos.
Varias herramientas proporcionan paneles de análisis casi en tiempo real que entregan información rápidamente:
Componentes
Defender for Endpoint protege a las organizaciones frente a amenazas en dispositivos, identidades, aplicaciones, correo electrónico, datos y cargas de trabajo en la nube.
Sentinel es una solución SIEM y SOAR nativa de la nube. Usa análisis avanzados de inteligencia artificial y seguridad para detectar, buscar y evitar amenazas en las empresas, así como para actuar en caso de que se produzcan.
Monitor es una solución de software como servicio (SaaS) que recopila y analiza datos en entornos y recursos de Azure. Estos datos incluyen la telemetría de aplicaciones, como métricas de rendimiento y registros de actividad. Monitor también ofrece la funcionalidad de alertas.
Log Analytics es un servicio de Monitor que se puede usar para consultar e inspeccionar los datos de registro de Monitor. Log Analytics también proporciona características para crear gráficos y analizar estadísticamente los resultados de las consultas.
Event Hubs es un servicio de ingesta de datos en tiempo real y totalmente administrado sencillo y escalable.
Data Lake Storage es un repositorio de almacenamiento escalable que contiene una gran cantidad de datos en su formato nativo y sin procesar. Este lago de datos se basa en Blob Storage y proporciona funcionalidad para almacenar y procesar datos.
Azure Data Explorer es una plataforma de análisis de datos rápida, totalmente administrada y de alta escalabilidad. Puede usar este servicio en la nube para el análisis en tiempo real de grandes volúmenes de datos. Azure Data Explorer está optimizado para consultas ad hoc interactivas. Puede controlar diferentes flujos de datos de aplicaciones, sitios web, dispositivos IoT y otros orígenes.
Los paneles de Azure Data Explorer importan datos de forma nativa obtenidos de las consultas a la interfaz de usuario web de Azure Data Explorer. Estos paneles optimizados proporcionan una manera de mostrar y explorar los resultados de las consultas.
Alternativas
En lugar de Azure Data Explorer para el almacenamiento a largo plazo de los registros de seguridad, puede usar Storage. Este enfoque simplifica la arquitectura y puede ayudar a controlar el costo. Una desventaja es la necesidad de rehidratar los registros para auditorías de seguridad y consultas de investigación interactivas. Con Azure Data Explorer, puede mover datos de la partición pasiva a la partición activa mediante la modificación de una directiva. Esta funcionalidad acelera la exploración de datos.
Otra opción con esta solución es enviar todos los datos, independientemente de su valor de seguridad, a Sentinel y Azure Data Explorer al mismo tiempo. Se produce alguna duplicación, pero el ahorro de costos puede ser significativo. Dado que Azure Data Explorer proporciona almacenamiento a largo plazo, puede reducir los costos de retención de Sentinel con este enfoque.
Log Analytics no admite actualmente la exportación de tablas de registros personalizadas. En este escenario, puede usar Azure Logic Apps para exportar datos desde áreas de trabajo de Log Analytics. Para más información, vea ☺Archivado de datos de un área de trabajo de Log Analytics a Azure Storage mediante Logic Apps.
Detalles del escenario
Los registros de seguridad son útiles para identificar amenazas y realizar un seguimiento de los intentos no autorizados de acceso a los datos. Los ataques de seguridad pueden tener un buen comienzo antes de que se descubran. Por tanto, es importante tener acceso a largo plazo a los registros de seguridad. La consulta de registros a largo plazo es fundamental para identificar el impacto de las amenazas e investigar la propagación de intentos de acceso ilícitos.
En este artículo se describe una solución para la retención a largo plazo de los registros de seguridad. En el núcleo de la arquitectura se encuentra Azure Data Explorer. Este servicio proporciona almacenamiento para los datos de seguridad a un costo mínimo, pero mantiene los datos en un formato que se puede consultar. Otros componentes principales incluyen:
Microsoft Defender para punto de conexión y Microsoft Sentinel para estas funcionalidades:
- Seguridad completa de los puntos de conexión
- Administración de eventos e información de seguridad (SIEM)
- Respuesta automatizada de orquestación de seguridad (SOAR)
Log Analytics, para el almacenamiento a corto plazo de los registros de seguridad de Sentinel.
Posibles casos de uso
Esta solución se aplica a varios escenarios. En concreto, los analistas del centro de operaciones de seguridad (SOC) pueden usar esta solución para lo siguiente:
- Investigaciones a escala completa.
- Análisis forense.
- Búsqueda de amenazas.
- Auditorías de seguridad.
Un cliente prueba la utilidad de la solución: "Implementamos un clúster de Azure Data Explorer hace casi un año y medio. En la última vulneración de datos Solorigate, usamos un clúster de Azure Data Explorer para el análisis forense. Un equipo de Microsoft Dart también usó un clúster de Azure Data Explorer para completar la investigación. La retención de datos de seguridad a largo plazo es fundamental para las investigaciones de datos a escala completa".
Pila de supervisión
En el diagrama siguiente se muestra la pila de supervisión de Azure:
- Sentinel usa un área de trabajo de Log Analytics para almacenar registros de seguridad y proporcionar soluciones SIEM y SOAR.
- Monitor realiza un seguimiento del estado de los recursos de TI y envía alertas cuando es necesario.
- Azure Data Explorer proporciona una plataforma de datos subyacente que almacena registros de seguridad para áreas de trabajo de Log Analytics, Monitor y Sentinel.
Características principales
Las características principales de la solución ofrecen muchas ventajas, como se explica en las secciones siguientes.
Almacén de datos consultables a largo plazo
Azure Data Explorer indexa los datos durante el proceso de almacenamiento, lo que permite que los datos estén disponibles para las consultas. Cuando necesite centrarse en la ejecución de auditorías e investigaciones, no es necesario procesar los datos. Consultar los datos resulta sencillo.
Análisis forense a escala completa
Azure Data Explorer, Log Analytics y Sentinel admiten consultas entre servicios. Como resultado, en una sola consulta, puede hacer referencia a los datos almacenados en cualquiera de estos servicios. Los analistas de SOC pueden usar el lenguaje de consulta Kusto (KQL) para ejecutar investigaciones de rango completo. También puede usar las consultas de Azure Data Explorer en Sentinel con fines de búsqueda. Para más información, vea Novedades: La búsqueda de Sentinel admite consultas entre recursos de ADX.
Almacenamiento en caché de datos a petición
Azure Data Explorer admite el almacenamiento en caché de nivel de acceso frecuente basado en ventanas. Esta funcionalidad proporciona una manera de mover datos de un período seleccionado a la caché de nivel de acceso frecuente. A continuación, puede ejecutar consultas rápidas en los datos, lo que permite que las investigaciones sean más eficaces. Es posible que tenga que agregar nodos de ejecución a la caché de nivel de acceso frecuente para este propósito. Una vez completada la investigación, puede cambiar la directiva de la caché de nivel de acceso frecuente para mover los datos a la partición pasiva. También puede restaurar el clúster a su tamaño original.
Exportación continua para archivar datos
Para cumplir los requisitos normativos, algunas empresas deben almacenar registros de seguridad durante un período ilimitado de tiempo. Azure Data Explorer admite la exportación continua de datos. Puede usar esta funcionalidad para crear un nivel de archivo mediante el almacenamiento de los registros de seguridad en Storage.
Lenguaje de consulta probado
El lenguaje de consulta Kusto es nativo de Azure Data Explorer. Este lenguaje también está disponible en las áreas de trabajo de Log Analytics y en los entornos de búsqueda de amenazas de Sentinel. Esta disponibilidad reduce significativamente la curva de aprendizaje para los analistas de SOC. Las consultas que se ejecutan en Sentinel también funcionan con los datos que están almacenados en los clústeres de Azure Data Explorer.
Consideraciones
Estas consideraciones implementan los pilares del marco de buena arquitectura de Azure, que es un conjunto de principios guía que se pueden usar para mejorar la calidad de una carga de trabajo. Para más información, consulte Marco de buena arquitectura de Microsoft Azure.
Tenga en cuenta los siguientes puntos al implementar esta solución.
Escalabilidad
Tenga en cuenta estos problemas de escalabilidad:
Método de exportación de datos
Si necesita exportar una gran cantidad de datos de Log Analytics, es posible que alcance los límites de capacidad de Event Hubs. Para evitar esta situación:
- Exporte datos de Log Analytics a Blob Storage.
- Use las cargas de trabajo de Azure Data Factory para exportar los datos periódicamente a Azure Data Explorer.
Con este método, solo puede copiar datos de Data Factory cuando los datos se aproximen a su límite de retención en Sentinel o Log Analytics. Como resultado, se evita que se dupliquen los datos. Para más información, vea Exportación de datos de Log Analytics a Azure Data Explorer.
Preparación de auditorías y uso de consultas
Por lo general, los datos se mantienen en la caché de nivel de acceso esporádico en el clúster de Azure Data Explorer. Este enfoque minimiza el costo del clúster y es suficiente para la mayoría de las consultas que engloban datos de meses anteriores. Pero cuando se consultan intervalos de datos grandes, es posible que tenga que escalar horizontalmente el clúster y cargar los datos en la memoria caché de nivel de acceso frecuente.
Para ello, puede usar la característica de ventana de nivel de acceso frecuente de la directiva de caché de nivel de acceso frecuente. También puede usar esta característica al auditar datos a largo plazo. Al usar la ventana de nivel de acceso frecuente, es posible que tenga que escalar vertical u horizontalmente el clúster para que haya espacio para más datos en la caché de nivel de acceso frecuente. Cuando haya terminado de consultar el intervalo de datos grande, cambie la directiva de caché de nivel de acceso frecuente para reducir el costo informático.
Al activar la característica de escalabilidad automática optimizada en el clúster de Azure Data Explorer, puede optimizar el tamaño del clúster en función de la directiva de almacenamiento en caché. Para más información sobre la consulta de datos de acceso esporádico en Azure Data Explorer, vea Consulta de datos de acceso esporádico con ventanas de acceso frecuente.
Eficiencia del rendimiento
La eficiencia del rendimiento es la capacidad de la carga de trabajo para escalar con el fin de satisfacer de manera eficiente las demandas que los usuarios hayan ejercido sobre ella. Para obtener más información, vea Resumen del pilar de eficiencia del rendimiento.
Si necesita almacenar datos de seguridad durante mucho tiempo o durante un período ilimitado, exporte los registros a Storage. Azure Data Explorer admite la exportación continua de datos. Con esta funcionalidad, puede exportar datos a Storage en formato Parquet comprimido y con particiones. A continuación, puede consultar esos datos sin problemas. Para más información, vea Introducción a la exportación de datos continua.
Optimización de costos
La optimización de costos trata de buscar formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para más información, vea Información general del pilar de optimización de costos.
El clúster de Azure Data Explorer se basa principalmente en la capacidad de proceso que se usa para almacenar datos en la caché de nivel de acceso frecuente. Las consultas de los datos almacenados en la caché de nivel de acceso frecuente ofrecen un mejor rendimiento con respecto a las consultas de la caché de acceso esporádico. Esta solución almacena la mayoría de los datos en la memoria caché de acceso esporádico, lo que minimiza el costo informático.
Para explorar el costo de la ejecución de esta solución en su entorno, use la calculadora de precios de Azure.
Implementación de este escenario
Para automatizar la implementación, use este script de PowerShell. Este script crea estos componentes:
- Tabla de destino
- Tabla sin formato
- Asignación de tabla que define cómo llegan los registros de Event Hubs en la tabla sin formato
- Directivas de retención y actualización
- Espacios de nombres de Event Hubs
- Reglas de exportación de datos del área de trabajo de Log Analytics
- Conexión de datos entre Event Hubs y la tabla de datos sin procesar de Azure Data Explorer
Colaboradores
Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.
Autor principal:
- Deepak Agrawal | Responsable de producto
Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.
Pasos siguientes
- Integración con Azure Data Explorer para conservar registros a largo plazo
- Transferencia sencilla de los registros de Microsoft Sentinel a un almacenamiento a largo plazo
- Consulta entre recursos en Azure Data Explorer mediante Azure Monitor
- Configuración de la exportación de datos de Microsoft Sentinel para el almacenamiento a largo plazo
- Uso de Azure Data Explorer para la retención a largo plazo de los registros de Microsoft Sentinel
- Novedades: La búsqueda de Sentinel admite consultas entre recursos de ADX
- Cómo transmitir registros de búsqueda de ATP de Microsoft Defender en Azure Data Explorer
- Serie de blogs: Búsqueda avanzada ilimitada con Azure Data Explorer (ADX)