Долгосрочное хранение журналов безопасности с помощью Azure Data Explorer

Это решение хранит журналы безопасности в Обозреватель данных Azure на долгосрочной основе. Это решение позволяет снизить затраты и обеспечивает простой доступ, когда необходимо запросить данные.

Grafana и Jupyter Notebooks являются товарными знаками соответствующих компаний. Использование этих меток не подразумевает подтверждения.

Архитектура

Скачайте файл Visio этой архитектуры.

Поток данных

1. Для SIEM и SOAR предприятие применяет Sentinel и Defender для конечной точки.

2. Defender для конечной точки использует собственные функции для экспорта данных в Центры событий Azure и Azure Data Lake. Sentinel принимает данные Defender для конечной точки в целях мониторинга устройств.

3. Sentinel использует Log Analytics в качестве платформы данных для экспорта данных в Центры событий и Azure Data Lake.

4. Azure Data Explorer применяет соединители для Центров событий, Хранилища BLOB-объектов Azure и Azure Data Lake Storage для приема данных с низкой задержкой и высокой пропускной способностью. В этом процессе используется служба Сетка событий Azure, которая активирует конвейер приема Azure Data Explorer.

5. При необходимости Azure Data Explorer непрерывно экспортирует журналы безопасности в службу хранилища Azure. Эти журналы находятся в сжатом, секционированном формате Parquet и готовы к запросам.

6. В целях соблюдения нормативных требований Azure Data Explorer экспортирует предварительно агрегированные данные в Data Lake Storage для архивации.

7. Azure Data Explorer и Sentinel поддерживают запросы между службами, выполняемые с помощью Azure Data Explorer. Аналитики SOC используют эту возможность для проведения полномасштабных исследований на основе данных о безопасности.

8. Azure Data Explorer предоставляет собственные возможности для обработки, агрегирования и анализа данных.

9. Существует целый ряд средств, поддерживающих панели мониторинга, которые позволяют практически в реальном времени получать аналитические сведения:

   • Панели мониторинга Azure Data Explorer
   • Power BI
   • Grafana

Компоненты

• Defender для конечной точки защищает организации от угроз на устройствах, в удостоверениях, приложениях, электронной почте, данных и облачных рабочих нагрузках.

• Sentinel — это ориентированное на облако решение SIEM и SOAR. Оно использует расширенные возможности ИИ и аналитики безопасности для обнаружения, поиска, предотвращения угроз на предприятиях, а также для реагирования на них.

• Monitor — это решение SaaS (программное обеспечение как услуга), которое собирает и анализирует данные в средах и ресурсах Azure. Это данные телеметрии приложений, такие как метрики производительности и журналы действий. Monitor также предоставляет возможности оповещений.

• Log Analytics — это служба в Monitor, которую можно использовать для запроса и проверки данных журнала Monitor. Log Analytics также предоставляет функции для построения диаграмм и статистического анализа результатов запросов.

• Центры событий — это полностью управляемая, простая и масштабируемая служба приема данных в реальном времени.

• Data Lake Storage — это масштабируемый репозиторий хранилища, содержащий большой объем данных в собственном необработанном формате. Он основан на Хранилище BLOB-объектов и предоставляет функциональные возможности для хранения и обработки данных.

• Azure Data Explorer — это быстрая, полностью управляемая и высокомасштабируемая платформа аналитики данных Эту облачную службу можно использовать для анализа больших объемов данных в режиме реального времени. Azure Data Explorer оптимизирован для поддержки интерактивных и специализированных запросов. Он обрабатывает различные потоки данных из приложений, веб-сайтов, устройств Интернета вещей и других источников.

• Панели мониторинга Azure Data Explorer имеют встроенные функции импорта данных из запросов пользовательского веб-интерфейса Azure Data Explorer. Эти оптимизированные панели мониторинга позволяют просматривать и изучать результаты запросов.

Альтернативные варианты

• Вместо Azure Data Explorer для долгосрочного хранения журналов подойдет служба хранилища. Такой подход упрощает архитектуру и помогает контролировать затраты. Его недостатком является необходимость восстанавливать журналы для аудитов безопасности и интерактивных исследовательских запросов. С помощью Azure Data Explorer можно перемещать данные из холодной секции в горячую путем изменения политики. Это позволит ускорить исследование данных.

• Другим вариантом является одновременная отправка всех данных независимо от их значения безопасности в Sentinel и Azure Data Explorer. В результате часть данных дублируется, но этот недостаток перекрывается значительной экономией средств. Так как Azure Data Explorer обеспечивает долгосрочное хранение, вы можете сократить затраты на хранение в Sentinel.

• Сейчас Log Analytics не поддерживает экспорт пользовательских таблиц журналов. В этом сценарии можно использовать Azure Logic Apps для экспорта данных из рабочих областей Log Analytics. Дополнительные сведения см. в статье Архивация данных из рабочей области Log Analytics в службу хранилища Azure с помощью Logic Apps.

Сведения о сценарии

Журналы безопасности полезны для выявления угроз и отслеживания несанкционированных попыток доступа к данным. Атаки на систему безопасности могут начаться задолго до их обнаружения. Поэтому очень важно иметь доступ к журналам безопасности, находящимся на долгосрочном хранении. Возможность выполнения запросов к таким журналов имеет критическое значение для определения влияния угроз и исследования распространения попыток незаконного доступа.

В этой статье описывается решение для долгосрочного хранения журналов безопасности. Основа архитектуры — Azure Data Explorer. Эта служба обеспечивает хранение данных безопасности по минимальной цене, но сохраняет эти данные в формате, пригодном для выполнения запросов. Другие основные компоненты:

• Microsoft Defender для конечной точки и Microsoft Sentinel, которые обеспечивают следующие возможности:

  • комплексная безопасность конечных точек;
  • SIEM
  • оркестрация, автоматизация событий безопасности и реагирование на них (SOAR).

• Функция анализа журналов для краткосрочного хранения журналов безопасности Sentinel.

Потенциальные варианты использования

Это решение применяется к разным сценариям. В частности, аналитики центра информационной безопасности (SOC) могут использовать это решение для:

• полномасштабных исследований;
• криминалистического анализа;
• охоты на угрозы;
• аудитов безопасности.

Вот как один из клиентов свидетельствует о полезности этого решения: "Мы развернули кластер Azure Data Explorer почти полтора года назад. При последней утечке данных Solorigate мы использовали кластер Azure Data Explorer для проведения криминалистического анализа Команда Microsoft Dart также работала с кластером Azure Data Explorer для завершения расследования. Долгосрочное хранение данных безопасности имеет критически важное значение для полномасштабных исследований данных".

Стек мониторинга

На приведенной ниже схеме показан стек мониторинга Azure.

• Sentinel использует рабочую область Log Analytics для хранения журналов безопасности и предоставления решений SIEM и SOAR.
• Monitor отслеживает состояние ИТ-активов и при необходимости отправляет предупреждения.
• Azure Data Explorer предоставляет базовую платформу данных, в которой хранятся журналы безопасности для рабочих областей Log Analytics, Monitor и Sentinel.

Основные функции

Основные функции решения предлагают множество преимуществ, которые описаны в следующих разделах.

Долгосрочное хранение данных с поддержкой запросов

Azure Data Explorer индексирует данные в процессе хранения, делая их доступными для запросов. Если необходимо проводить аудиты и исследования, обрабатывать данные не требуется. Выполнять запросы к данным также очень просто.

Полномасштабный криминалистический анализ

Azure Data Explorer, Log Analytics и Sentinel поддерживают запросы между службами. Поэтому в одном запросе можно ссылаться на данные, хранящиеся в любой из этих служб. Для проведения полномасштабных исследований специалисты по аналитике SOC могут использовать язык запросов Kusto (KQL). Кроме того, запросы Azure Data Explorer в Sentinel можно использовать в целях охоты на угрозы. Дополнительные сведения см. в статье Новые возможности. Охота Sentinel поддерживает запросы ADX между ресурсами.

Кэширование данных по запросу

Azure Data Explorer поддерживает горячее кэширование на основе окон. В этом случае данные из выбранного периода перемещаются в горячий кэш. Затем можно выполнять быстрые запросы к данным, что повышает эффективность исследований. Для этой цели может потребоваться добавить в горячий кэш вычислительные узлы. После завершения исследования можно изменить политику горячего кэша, чтобы переместить данные в холодную секцию. Можно также восстановить исходный размер кластера.

Непрерывный экспорт для архивации данных

Для соблюдения нормативных требований некоторым предприятиям необходимо хранить журналы безопасности в течение неограниченного периода времени. Azure Data Explorer поддерживает непрерывный экспорт данных. Это преимущество можно использовать для создания архивного уровня хранилища путем хранения журналов безопасности в службе хранилища.

Проверенный язык запросов

Язык запросов Kusto является собственным в Azure Data Explorer. Он также доступен в рабочих областях Log Analytics и в средах Sentinel с поддержкой охоты на угрозы. Такая широкая доступность значительно сокращает сроки обучения для аналитиков SOC. Запросы, выполняемые в Sentinel, также работают с данными, которые хранятся в кластерах Azure Data Explorer.

Рекомендации

Эти рекомендации реализуют основные принципы Azure Well-Architected Framework, которая представляет собой набор руководящих принципов, которые можно использовать для повышения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

При реализации этого решения учитывайте следующие моменты:

Масштабируемость

Учитывайте следующие возможные проблемы масштабируемости.

Метод экспорта данных

При экспорте большого объема данных из Log Analytics можно достичь предельных ограничений емкости Центров событий. Чтобы избежать такой ситуации:

• экспортируйте данные из Log Analytics в Хранилище BLOB-объектов;
• используйте рабочие нагрузки Фабрики данных Azure для периодического экспорта данных в Azure Data Explorer.

С помощью этого метода можно копировать данные из Фабрики данных, только если приближается дата окончания их срока хранения в Sentinel или Log Analytics. В результате исключается дублирование данных. Дополнительные сведения см. в разделе Экспорт данных из Log Analytics в Azure Data Explorer.

Использование запросов и готовность к аудиту

Как правило, данные хранятся в холодном кэше в кластере Azure Data Explorer. Такой подход сокращает затраты на кластер и подходит для большинства запросов, использующих данные за предыдущие месяцы. Но при запросе больших диапазонов данных может потребоваться горизонтально увеличить масштаб кластера и загрузить данные в горячий кэш.

Для этого можно использовать функцию горячего окна политики горячего кэша. Она также полезна при аудите длительно хранящихся данных. При использовании горячего окна может потребоваться увеличить или уменьшить масштаб кластера, чтобы освободить место для дополнительных данных в горячем кэше. После завершения выполнения запросов к большому диапазону данных измените политику горячего кэша, чтобы снизить затраты на вычислительные ресурсы.

Включив оптимизированную функцию автомасштабирования в кластере Azure Data Explorer, можно оптимизировать размер кластера на основе политики кэширования. Дополнительные сведения о запросах к холодным данным в Azure Data Explorer см. в статье Запрашивание холодных данных с помощью горячих окон.

Уровень производительности

Уровень производительности — это способность вашей рабочей нагрузки масштабироваться в соответствии с требованиями, предъявляемыми к ней пользователями эффективным образом. Дополнительные сведения см. в статье Общие сведения о принципах эффективности производительности.

Если данные безопасности необходимо хранить в течение длительного времени или в течение неограниченного периода, экспортируйте журналы в службу хранилища. Azure Data Explorer поддерживает непрерывный экспорт данных. С помощью этой функции можно экспортировать данные в службу хранилища в сжатом, секционированном формате Parquet. Затем можно легко выполнять запросы к этим данным. Дополнительные сведения см. в разделе Общие сведения о непрерывном экспорте данных.

Оптимизация затрат

Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат".

Стоимость кластера Azure Data Explorer главным образом зависит от вычислительной мощности, используемой для хранения данных в горячем кэше. Производительность запросов к данным горячего кэша превышает производительность запросов к данным холодного кэша. Это решение хранит большую часть данных в холодном кэше, что способствует минимизации затрат на вычислительные ресурсы.

Чтобы изучить стоимость запуска этого решения в своей среде, воспользуйтесь Калькулятором цен Azure.

Развертывание этого сценария

Чтобы автоматизировать развертывание, используйте этот скрипт PowerShell. Он создает следующие компоненты:

• целевая таблица;
• неформатированная таблица;
• сопоставление таблиц, которое определяет, как записи Центров событий попадают в неформатированную таблицу;
• политики хранения и обновления;
• пространства имен Центров событий;
• правила экспорта данных в рабочей области Log Analytics;
• подключение данных между Центрами событий и таблицей необработанных данных Azure Data Explorer.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально она была написана следующими участниками.

Основной автор:

• Дипак Агравал | Менеджер по продуктам

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Дальнейшие действия

• Интеграция Azure Data Explorer для долгосрочного хранения журналов
• Перенос журналов Microsoft Sentinel для долгосрочного хранения
• Запрос между несколькими ресурсами Azure Data Explorer с использованием Azure Monitor
• Настройка экспорта данных Microsoft Sentinel для долгосрочного хранения
• Использование Azure Data Explorer для долгосрочного хранения журналов Microsoft Sentinel
• Новые возможности: охота на угрозы Microsoft Sentinel поддерживает запросы между ресурсами ADX
• Как выполнять потоковую передачу журналов охоты на угрозы ATP в Microsoft Defender в Azure Data Explorer
• Серия блогов. Неограниченный расширенный поиск угроз с помощью Azure Data Explorer (ADX)

Связанные ресурсы

• Мониторинг с Azure Data Explorer
• Интерактивная аналитика с Azure Data Explorer
• Использование аналитики больших данных с Azure Data Explorer