Przygotowanie do zmiany formatu na dzienniki platformy usługi Azure Monitor zarchiwizowane na konto magazynu

  • Artykuł

Ostrzeżenie

Jeśli wysyłasz dzienniki zasobów platformy Azure lub metryki do konta magazynu przy użyciu ustawień diagnostycznych lub dzienników aktywności na koncie magazynu przy użyciu profilów dzienników, format danych na koncie magazynu został zmieniony na linie JSON w dniu 1 listopada 2018 r. W poniższych instrukcjach opisano wpływ i sposób aktualizowania narzędzi w celu obsługi nowego formatu.

Co się zmieniło

Usługa Azure Monitor oferuje możliwość wysyłania dzienników zasobów i dzienników aktywności do konta usługi Azure Storage, przestrzeni nazw usługi Event Hubs lub obszaru roboczego usługi Log Analytics w usłudze Azure Monitor. Aby rozwiązać problem z wydajnością systemu, 1 listopada 2018 o 12:00 czasu UTC format danych dziennika wysyłanych do magazynu obiektów blob został zmieniony. Jeśli masz narzędzia odczytujące dane z magazynu obiektów blob, musisz zaktualizować narzędzia, aby zrozumieć nowy format danych.

  • W czwartek, 1 listopada 2018 r. o 12:00 czasu UTC, format obiektu blob został zmieniony na JSON Lines. Oznacza to, że każdy rekord będzie rozdzielany przez nową linię, bez tablicy rekordów zewnętrznych i bez przecinków między rekordami JSON.
  • Format obiektu blob został zmieniony dla wszystkich ustawień diagnostycznych we wszystkich subskrypcjach jednocześnie. Pierwszy plik PT1H.json emitowany dla 1 listopada używał tego nowego formatu. Nazwy obiektów blob i kontenerów pozostają takie same.
  • Ustawienie ustawienia diagnostycznego od 1 listopada nadal emituje dane w bieżącym formacie do 1 listopada.
  • Ta zmiana miała miejsce jednocześnie we wszystkich regionach chmury publicznej. Zmiana nie zostanie jeszcze zmieniona na platformie Microsoft Azure obsługiwana przez firmę 21Vianet, Azure (Niemcy) ani Azure Government chmurach.
  • Ta zmiana ma wpływ na następujące typy danych:
  • Ta zmiana nie ma wpływu na:
    • Dzienniki przepływu sieci
    • Dzienniki usług platformy Azure nie są jeszcze dostępne za pośrednictwem usługi Azure Monitor (na przykład Azure App Service dzienniki zasobów, dzienniki analizy magazynu)
    • Routing dzienników zasobów i dzienników aktywności platformy Azure do innych miejsc docelowych (Event Hubs, Log Analytics)

Jak sprawdzić, czy masz wpływ

Ta zmiana ma wpływ tylko wtedy, gdy:

  1. Wysyłają dane dziennika do konta usługi Azure Storage przy użyciu ustawienia diagnostycznego i
  2. Narzędzia, które zależą od struktury JSON tych dzienników w magazynie.

Aby określić, czy masz ustawienia diagnostyczne, które wysyłają dane do konta usługi Azure Storage, możesz przejść do sekcji Monitorowanie portalu, kliknąć pozycję Ustawienia diagnostyczne i zidentyfikować wszystkie zasoby z ustawionym stanem diagnostycznym na włączone:

Okienko Ustawień diagnostycznych usługi Azure Monitor

Jeśli stan diagnostyki jest ustawiony na włączone, masz aktywne ustawienie diagnostyczne dla tego zasobu. Kliknij zasób, aby sprawdzić, czy jakiekolwiek ustawienia diagnostyczne wysyłają dane do konta magazynu:

Włączone konto magazynu

Jeśli masz zasoby wysyłające dane na konto magazynu przy użyciu tych ustawień diagnostycznych zasobów, ten format danych na tym koncie magazynu będzie miał wpływ na tę zmianę. Jeśli nie masz niestandardowych narzędzi, które działają poza tymi kontami magazynu, zmiana formatu nie wpłynie na Ciebie.

Szczegóły zmiany formatu

Bieżący format pliku PT1H.json w usłudze Azure Blob Storage używa tablicy rekordów JSON. Oto przykładowy plik dziennika usługi KeyVault:

{
    "records": [
        {
            "time": "2016-01-05T01:32:01.2691226Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "78",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        },
        {
            "time": "2016-01-05T01:33:56.5264523Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "83",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        }
    ]
}

Nowy format używa wierszy JSON, gdzie każde zdarzenie jest wierszem, a znak nowego wiersza wskazuje nowe zdarzenie. Oto jak będzie wyglądać powyższy przykład w pliku PT1H.json po zmianie:

{"time": "2016-01-05T01:32:01.2691226Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "78","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}
{"time": "2016-01-05T01:33:56.5264523Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "83","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}

Ten nowy format umożliwia usłudze Azure Monitor wypychanie plików dziennika przy użyciu uzupełnialnych obiektów blob, które są bardziej wydajne w przypadku ciągłego dołączania nowych danych zdarzeń.

Jak aktualizować

Aktualizacje należy wprowadzać tylko wtedy, gdy masz niestandardowe narzędzia, które pozyskują te pliki dziennika w celu dalszego przetwarzania. Jeśli korzystasz z zewnętrznej analizy dzienników lub narzędzia SIEM, zalecamy użycie centrów zdarzeń do pozyskiwania tych danych. Integracja usługi Event Hubs jest łatwiejsza w zakresie przetwarzania dzienników z wielu usług i lokalizacji zakładek w określonym dzienniku.

Narzędzia niestandardowe powinny być aktualizowane w celu obsługi bieżącego formatu i formatu linii JSON opisanych powyżej. Zapewni to, że gdy dane zaczną pojawiać się w nowym formacie, narzędzia nie przerywają działania.

Następne kroki