Визуализация журналов потоков для групп безопасности сети с помощью Power BI

Журналы потоков для групп безопасности сети позволяют просматривать информацию о входящем и исходящем IP-трафике групп безопасности сети. Эти журналы потоков отображают для каждого входящего и исходящего потока применимые правила, сетевой адаптер, к которому относится поток, информацию о 5 кортежах (исходный IP-адрес и порт, конечный IP-адрес и порт, тип протокола), а также информацию о запрете или разрешении трафика.

Ручной поиск по файлам журналов невозможно использовать для анализа информации. В этой статье описано решение, позволяющее визуализировать свежие записи журналов потоков и выполнять анализ трафика в сети.

Предупреждение

В следующих шагах используются журналы потоков версии 1. Дополнительные сведения см. в статье Общие сведения о ведении журнала потоков для групп безопасности сети. Приведенные ниже инструкции не будут работать с файлами журнала версии 2 без изменений.

Сценарий

В следующем сценарии мы подключим Power BI Desktop к учетной записи хранения, которую мы настроили в качестве приемника для данных журнала потоков для групп безопасности сети. Подключившись к учетной записи хранения, Power BI выполняет загрузку и синтаксический анализ журналов, а затем наглядно отображает весь трафик, зарегистрированный для групп безопасности сети.

Предложенные в шаблоне визуальные элементы позволяют изучить следующие аспекты информации:

  • наиболее активные источники трафика;
  • данные потоков временных рядов по направлениям и типам правил;
  • потоки по MAC-адресам сетевых интерфейсов;
  • потоки по группам безопасности сети и правилам;
  • потоки по конечным портам.

Вы можете изменить предложенный шаблон, чтобы добавить в него новые данные и визуальные элементы или изменять запросы в соответствии со своими задачами.

Настройка

Прежде чем мы начнем работу, вам необходимо включить журналы потоков для одной или нескольких групп безопасности сети в вашей учетной записи. Инструкции по включению журналов потоков для групп безопасности сети есть в статье Introduction to flow logging for Network Security Groups (Введение в журналы потоков для групп безопасности сети).

Также вам потребуется компьютер с установленным клиентом Power BI Desktop и достаточным объемом дискового пространства для хранения и загрузки данных журналов, сохраненных в учетной записи хранения.

Схема Visio

Шаги

  1. Скачайте и откройте следующий шаблон Power BI в приложении Power BI Desktop: шаблон журналов потоков Наблюдателя за сетями Power BI.

  2. Введите обязательные параметры запроса.

    1. StorageAccountName — указывает имя учетной записи хранения, содержащей журналы потоков для групп безопасности сети, которые вы хотите загрузить и визуализировать.

    2. NumberOfLogFiles — указывает количество файлов журнала, которые нужно скачать и визуализировать в Power BI. Например, если указано значение 50, используются 50 последних файлов журнала. Если в этой учетной записи мы настроили отправку журналов потоков от двух групп безопасности сети, то сможем просмотреть журналы за последние 25 часов.

      Главный экран Power BI

  3. Введите ключ доступа к учетной записи хранения. Чтобы найти нужный ключ доступа, перейдите на портале Azure к учетной записи хранения и выберите пункт Ключи доступа в меню "Параметры". Щелкните Подключить и примените изменения.

    ключи доступа

    Ключи доступа (2)

  4. Теперь начнется загрузка и анализ журналов, а затем вы сможете использовать заранее настроенные визуальные элементы.

Основные сведения о визуальных элементах

В шаблоне описан набор визуальных элементов, которые помогают анализировать данные журнала потоков для групп безопасности сети. На следующих изображениях показаны примеры того, как выглядит панель мониторинга, заполненная данными. Ниже мы подробнее рассмотрим каждый визуальный элемент.

Power BI

Визуальный элемент Top Talkers (Наиболее активные источники трафика) отображает IP-адреса, от которых за исследуемый период исходило больше всего количество подключений. Размер прямоугольников соответствует относительному количеству подключений.

Наиболее активные источники трафика

На следующих диаграммах временных рядов отображается число потоков за исследуемый период. Верхний граф сегментируется по направлению потока, а нижний — по принятым решениям в отношении потока (разрешен или запрещен). Этот визуальный элемент позволяет изучить тенденции изменения трафика во времени, выявить необычные всплески активности, а также отклонения или сегментацию трафика.

Потоки по периодам

На следующих диаграммах показано количество потоков по сетевым интерфейсам. Верхняя сегментируется по направлению потока, а нижняя — по принятым решениям. Эта информация позволяет проанализировать, какая из виртуальных машин передает больше трафика по сравнению с другими и разрешен или запрещен трафик на конкретную виртуальную машину.

Потоки по сетевым интерфейсам

На следующей кольцевой диаграмме представлено распределение потоков по портам назначения. Эти данные позволяют выяснить наиболее часто используемые порты назначения за исследуемый период.

Кольцевая диаграмма

На следующей линейчатой диаграмме потоки представлены по группам безопасности сети и правилам. Эта информация позволяет выяснить, какие группы безопасности сети отвечают за большую часть трафика, а также изучить распределение трафика в группе безопасности сети по отдельным правилам.

Линейчатая диаграмма

На следующих информационных диаграммах отображаются сведения о группах безопасности сети, которые встречаются в журналах, число потоков за исследуемый период, а также дата самой ранней записи в журналах. Эти сведения позволяют понять, какие группы безопасности сети и какие периоды включены в журнал.

Информационная диаграмма 1

Информационная диаграмма 2

Этот шаблон включает следующие срезы, которые позволяют просматривать только интересующие вас данные. Вы можете использовать фильтры по группам ресурсов, группам безопасности сети и правилам. Также вы можете фильтровать данные по 5 кортежам, по решениям и времени записи данных в журнал.

Срезы

Заключение

В этом сценарии мы продемонстрировали, как визуализировать и анализировать трафик, используя журналы потоков для групп безопасности сети, Наблюдатель за сетями и Power BI. На основе предложенного шаблона Power BI скачивает журналы непосредственно из хранилища и обрабатывает их локально. Время, которое потребуется для загрузки шаблона, зависит от числа запрошенных файлов и общего объема скачанных файлов.

Вы можете настроить этот шаблон в соответствии с конкретными потребностями. Есть очень много способов применить Power BI в сочетании с журналами потоков для групп безопасности сети.

Примечания

  • Журналы по умолчанию хранятся в следующем расположении: https://{storageAccountName}.blob.core.windows.net/insights-logs-networksecuritygroupflowevent/

    • Если у вас есть другие данные, которые хранятся в другом каталоге, следует соответствующим образом изменить запросы на получение и обработку данных.
  • Мы не рекомендуем применять этот шаблон, если объем журналов превышает 1 ГБ.

  • Если у вас очень много журналов для анализа, мы рекомендуем использовать другое хранилище данных, например Data Lake или SQL Server.

Next Steps

Узнайте, как визуализировать журналы потоков для групп безопасности сети с помощью Elastick Stack, прочитав статью Визуализация журнала потоков для групп безопасности сети Наблюдателя за сетями Azure с помощью инструментов с открытым кодом.