Подготовка к изменению формата журналов для платформы Azure Monitor, архивируемых в учетной записи хранения

  • Статья

Предупреждение

Если вы отправляете метрики или журналы ресурсов Azure в учетную запись хранения с помощью параметров диагностики или отправляете журналы действий в учетную запись хранения с помощью профилей журналов, обратите внимание, что с 1 ноября 2018 г. формат данных в учетной записи хранения изменится на формат JSON Lines. Ниже описывается влияние этого изменения, а также приводятся инструкции по обновлению инструментария для включения поддержки нового формата.

Изменения

Azure Monitor предлагает возможность, которая позволяет отправлять журналы ресурсов и действий в учетную запись хранения Azure, пространство имен Центров событий или в рабочую область Log Analytics для Azure Monitor. Для устранения проблем с производительностью системы 1 ноября 2018 года в полночь по времени в формате UTC изменится формат данных журналов, отправляемых в хранилище BLOB-объектов. Если у вас есть инструменты для считывания данных из хранилища BLOB-объектов, их необходимо обновить для распознавания нового формата данных.

  • В четверг 1 ноября 2018 года в полночь по времени UTC формат BLOB-объектов изменится на JSON Lines. Это означает, что каждая запись будет разделяться новой строкой. Массив внешних записей и запятые между записями JSON использоваться не будут.
  • Формат BLOB-объектов меняется одновременно для всех параметров диагностики во всех подписках. Этот новый формат будет использоваться для первого файла PT1H.json, созданного 1 ноября. Имена больших двоичных объектов и контейнеров останутся без изменений.
  • Для параметров диагностики, настроенных ранее 1 ноября, будет поддерживаться текущий формат передачи данных вплоть до 1 ноября.
  • Это изменение произошло один раз во всех регионах общедоступного облака. Это изменение пока не будет применяться в облаках Microsoft Azure для Китая, Azure для Германии или Azure для государственных организаций.
  • Это изменение затрагивает следующие типы данных:
  • Это изменение не затрагивает следующие данные:
    • журналы сетевых потоков;
    • журналы службы Azure, к которым еще не предоставлен доступ к помощью Azure Monitor (например, журналы ресурсов Службы приложений Azure, журналы аналитики хранилища);
    • маршрутизация журналов ресурсов и действий Azure в другие назначения (Центры событий, Log Analytics).

Как узнать о возможном влиянии

Это изменение затронет вас только в приведенных ниже случаях.

  1. Вы отправляете данные журнала в учетную запись хранения Azure с помощью параметра диагностики.
  2. У вас есть инструменты, зависящие от структуры JSON этих журналов в хранилище.

Чтобы определить наличие параметров диагностики, которые отправляют данные в учетную запись хранения Azure, на портале перейдите в раздел Monitor, щелкните Параметры диагностики и определите ресурсы, в колонке Состояние диагностики которых задано значение Включено.

Панель параметров диагностики Azure Monitor

Если в колонке "Состояние диагностики" задано значение "Включено", для данного ресурса существует активный параметр диагностики. Щелкните ресурс, чтобы просмотреть, используются ли какие-либо параметры диагностики для отправки данных в учетную запись хранения.

Учетная запись хранения включена

Если у вас есть ресурсы, которые отправляют данные в учетную запись хранения с помощью этих параметров диагностики ресурса, это изменение затронет формат данных в этой учетной записи. Если у вас нет специальных инструментов, которые работают с этими учетными записями хранения, изменение формата вас не коснется.

Сведения об изменении формата

Текущий формат файла PT1H.json в хранилище BLOB-объектов Azure использует массив записей JSON. Ниже приведен пример файла журнала KeyVault.

{
    "records": [
        {
            "time": "2016-01-05T01:32:01.2691226Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "78",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        },
        {
            "time": "2016-01-05T01:33:56.5264523Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "83",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        }
    ]
}

В новом формате используются строки JSON, где каждое событие представляет собой строку, а символ новой строки означает новое событие. После изменения приведенный выше пример в файле PT1H.json будет выглядеть следующим образом:

{"time": "2016-01-05T01:32:01.2691226Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "78","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}
{"time": "2016-01-05T01:33:56.5264523Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "83","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}

Этот новый формат позволяет Azure Monitor отправлять файлы журналов с помощью добавочных BLOB-объектов, которые более эффективны для постоянного добавления новых данных событий.

Способ обновления

Обновления следует выполнять только при наличии специальных инструментов, которые принимают эти файлы журналов для дальнейшей обработки. Если вы используете внешний инструмент анализа журналов или SIEM, рекомендуется заменить его на концентраторы событий для приема данных. Интеграция Центров событий оптимально подходит для обработки журналов из многих служб и создания закладок для расположений в определенном журнале.

Пользовательские инструменты необходимо обновить для обработки текущего формата и описанного выше формата JSON Lines. Тем самым гарантируется, что они сохранят работоспособность при появлении данных в новом формате.

Дальнейшие действия