Share via

Toegang tot diagnostische logboeken voor Azure Data Lake Storage Gen1

  • Artikel

Meer informatie over het inschakelen van diagnostische logboekregistratie voor uw Azure Data Lake Storage Gen1-account en het weergeven van de logboeken die voor uw account zijn verzameld.

Organisaties kunnen diagnostische logboekregistratie inschakelen voor hun Azure Data Lake Storage Gen1-account om audittrails voor gegevenstoegang te verzamelen, zoals een lijst met gebruikers die toegang hebben tot de gegevens, hoe vaak de gegevens worden geopend, hoeveel gegevens zijn opgeslagen in het account, enzovoort. Wanneer deze optie is ingeschakeld, worden de diagnostische gegevens en/of aanvragen op basis van best-effort geregistreerd. Logboekvermeldingen voor aanvragen en diagnostische gegevens worden alleen gemaakt als er aanvragen worden gedaan voor het service-eindpunt.

Vereisten

Diagnostische logboekregistratie inschakelen voor uw Data Lake Storage Gen1-account

  1. Meld u aan bij de nieuwe Azure Portal.

  2. Open uw Data Lake Storage Gen1-account en klik op de blade Data Lake Storage Gen1-account op Diagnostische instellingen.

  3. Klik op de blade Diagnostische instellingenop Diagnostische gegevens inschakelen.

    Schermopname van het Data Lake Storage Gen 1-account met de optie Diagnostische instelling en de optie Diagnostische gegevens inschakelen gemarkeerd.

  4. Breng op de blade Diagnostische instellingen de volgende wijzigingen aan om diagnostische logboekregistratie te configureren.

    Schermopname van de sectie Diagnostische instelling met het tekstvak Naam en de optie Opslaan gemarkeerd.

    • Voer bij Naam een waarde in voor de configuratie van het diagnostische logboek.

    • U kunt ervoor kiezen om de gegevens op verschillende manieren op te slaan/te verwerken.

      • Selecteer de optie Archiveren naar een opslagaccount om logboeken op te slaan in een Azure Storage-account. U gebruikt deze optie als u de gegevens wilt archiveren die op een later tijdstip in batch worden verwerkt. Als u deze optie selecteert, moet u een Azure Storage-account opgeven om de logboeken in op te slaan.

      • Selecteer de optie om Stream naar een Event Hub om logboekgegevens naar een Azure Event Hub te streamen. Waarschijnlijk gebruikt u deze optie als u een downstreamverwerkingspijplijn hebt om binnenkomende logboeken in realtime te analyseren. Als u deze optie selecteert, moet u de details opgeven voor de Azure Event Hub die u wilt gebruiken.

      • Selecteer de optie Verzenden naar Log Analytics om de Azure Monitor-service te gebruiken om de gegenereerde logboekgegevens te analyseren. Als u deze optie selecteert, moet u de details opgeven voor de Log Analytics-werkruimte die u gebruikt om logboekanalyse uit te voeren. Zie Gegevens weergeven of analyseren die zijn verzameld met Azure Monitor-logboeken zoeken voor meer informatie over het gebruik van Azure Monitor-logboeken.

    • Geef op of u auditlogboeken, aanvraaglogboeken of beide wilt ophalen.

    • Geef het aantal dagen op dat de gegevens moeten worden bewaard. Retentie is alleen van toepassing als u een Azure-opslagaccount gebruikt om logboekgegevens te archiveren.

    • Klik op Opslaan.

Zodra u diagnostische instellingen hebt ingeschakeld, kunt u de logboeken watch op het tabblad Diagnostische logboeken.

Diagnostische logboeken voor uw Data Lake Storage Gen1-account weergeven

Er zijn twee manieren om de logboekgegevens voor uw Data Lake Storage Gen1-account weer te geven.

  • Vanuit de weergave Data Lake Storage Gen1 accountinstellingen
  • Vanuit het Azure Storage-account waarin de gegevens zijn opgeslagen

De weergave Data Lake Storage Gen1 Instellingen gebruiken

  1. Klik op de blade Instellingen van uw Data Lake Storage Gen1-account op Diagnostische logboeken.

    Diagnostische logboeken weergeven Diagnostische logboeken

  2. Op de blade Diagnostische logboeken ziet u de logboeken gecategoriseerd op auditlogboeken en aanvraaglogboeken.

    • Aanvraaglogboeken leggen elke API-aanvraag vast die is gedaan op het Data Lake Storage Gen1-account.
    • Auditlogboeken zijn vergelijkbaar met aanvraaglogboeken, maar bieden een veel gedetailleerdere uitsplitsing van de bewerkingen die worden uitgevoerd op het Data Lake Storage Gen1-account. Een enkele upload-API-aanroep in aanvraaglogboeken kan bijvoorbeeld leiden tot meerdere toevoegbewerkingen in de auditlogboeken.

  3. Als u de logboeken wilt downloaden, klikt u op de koppeling Downloaden bij elke logboekvermelding.

Vanuit het Azure Storage-account dat logboekgegevens bevat

  1. Open de blade Azure Storage-account die is gekoppeld aan Data Lake Storage Gen1 voor logboekregistratie en klik vervolgens op Blobs. De blade Blob-service bevat twee containers.

    Schermopname van de blade Data Lake Storage Gen 1 met de optie Blobs geselecteerd en de blade Blogservice met de namen van de twee blobservices gemarkeerd.

    • De container insights-logs-audit bevat de auditlogboeken.
    • De container insights-logs-requests bevat de aanvraaglogboeken.

  2. Binnen deze containers worden de logboeken opgeslagen onder de volgende structuur.

    Schermopname van de logboekstructuur terwijl deze is opgeslagen in de container.

    Het volledige pad naar een auditlogboek kan bijvoorbeeld https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Op dezelfde manier kan het volledige pad naar een aanvraaglogboek https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Inzicht in de structuur van de logboekgegevens

De audit- en aanvraaglogboeken hebben een JSON-indeling. In deze sectie kijken we naar de structuur van JSON voor aanvraag- en auditlogboeken.

Aanvraaglogboeken

Hier volgt een voorbeeldvermelding in het aanvraaglogboek in JSON-indeling. Elke blob heeft één hoofdobject met de naam records dat een matrix van logboekobjecten bevat.

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-07T21:02:53.456Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Requests",
        "operationName": "GETCustomerIngressEgress",
        "resultType": "200",
        "callerIpAddress": "::ffff:1.1.1.1",
        "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
        "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
        "properties": {"HttpMethod":"GET","Path":"/webhdfs/v1/Samples/Outputs/Drivers.csv","RequestContentLength":0,"StoreIngressSize":0 ,"StoreEgressSize":4096,"ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8","StartTime":"2016-07-07T21:02:52.472Z","EndTime":"2016-07-07T21:02:53.456Z","QueryParameters":"api-version=<version>&op=<operationName>"}
    }
    ,
    . . . .
  ]
}

Schema voor aanvraaglogboek

Naam Type Description
tijd Tekenreeks Het tijdstempel (in UTC) van het logboek
resourceId Tekenreeks De id van de resource waarop de bewerking heeft plaatsgevonden
category Tekenreeks De logboekcategorie. Bijvoorbeeld Aanvragen.
operationName Tekenreeks Naam van de bewerking die wordt geregistreerd. Bijvoorbeeld getfilestatus.
resultType Tekenreeks De status van de bewerking, bijvoorbeeld 200.
callerIpAddress Tekenreeks Het IP-adres van de client die de aanvraag indient
correlationId Tekenreeks De id van het logboek die kan worden gebruikt om een set gerelateerde logboekvermeldingen te groeperen
identity Object De identiteit die het logboek heeft gegenereerd
properties JSON Zie hieronder voor meer informatie

Schema voor eigenschappen van aanvraaglogboek

Naam Type Description
HttpMethod Tekenreeks De HTTP-methode die wordt gebruikt voor de bewerking. Bijvoorbeeld GET.
Pad Tekenreeks Het pad waarop de bewerking is uitgevoerd
RequestContentLength int De inhoudslengte van de HTTP-aanvraag
ClientRequestId Tekenreeks De id die deze aanvraag uniek identificeert
StartTime Tekenreeks Het tijdstip waarop de server de aanvraag heeft ontvangen
EndTime Tekenreeks Het tijdstip waarop de server een antwoord heeft verzonden
StoreIngressSize Lange Grootte in bytes die zijn binnengestroomd naar Data Lake Store
StoreEgressSize Lange Grootte in bytes die worden opgehaald uit Data Lake Store
QueryParameters Tekenreeks Beschrijving: dit zijn de HTTP-queryparameters. Voorbeeld 1: api-version=2014-01-01&op=getfilestatus Voorbeeld 2: op=APPEND&append=true&syncFlag=DATA&filesessionid=bee3355a-4925-4435-bb4d-ceea52811aeb&leaseid=bee3355a-4925-4435-bb4d-ceea52811aeb&offset=28313319&api-version=2017-08-01

Auditlogboeken

Hier volgt een voorbeeldvermelding in het auditlogboek met JSON-indeling. Elke blob heeft één hoofdobject met de naam records dat een matrix van logboekobjecten bevat

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-08T19:08:59.359Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Audit",
        "operationName": "SeOpenStream",
        "resultType": "0",
        "resultSignature": "0",
        "correlationId": "381110fc03534e1cb99ec52376ceebdf;Append_BrEKAmg;25.66.9.145",
        "identity": "A9DAFFAF-FFEE-4BB5-A4A0-1B6CBBF24355",
        "properties": {"StreamName":"adl://<data_lake_storage_gen1_account_name>.azuredatalakestore.net/logs.csv"}
    }
    ,
    . . . .
  ]
}

Schema van auditlogboek

Naam Type Description
tijd Tekenreeks De tijdstempel (in UTC) van het logboek
resourceId Tekenreeks De id van de resource waarop de bewerking heeft plaatsgevonden
category Tekenreeks De logboekcategorie. Bijvoorbeeld Audit.
operationName Tekenreeks Naam van de bewerking die is geregistreerd. Bijvoorbeeld getfilestatus.
resultType Tekenreeks De status van de bewerking, bijvoorbeeld 200.
resultSignature Tekenreeks Aanvullende informatie over de bewerking.
correlationId Tekenreeks De id van het logboek dat kan worden gebruikt om een set gerelateerde logboekvermeldingen te groeperen
identity Object De identiteit die het logboek heeft gegenereerd
properties JSON Zie hieronder voor meer informatie

Schema voor eigenschappen van auditlogboek

Naam Type Description
StreamName Tekenreeks Het pad waarop de bewerking is uitgevoerd

Voorbeelden voor het verwerken van de logboekgegevens

Bij het verzenden van logboeken van Azure Data Lake Storage Gen1 naar Azure Monitor-logboeken (zie Gegevens weergeven of analyseren die zijn verzameld met Azure Monitor-logboeken zoeken naar details over het gebruik van Azure Monitor-logboeken), retourneert de volgende query een tabel met een lijst met weergavenamen van gebruikers, het tijdstip van de gebeurtenissen en het aantal gebeurtenissen voor de tijd van de gebeurtenis, samen met een visueel diagram. Het kan eenvoudig worden gewijzigd om gebruikers-GUID of andere kenmerken weer te geven:

search *
| where ( Type == "AzureDiagnostics" )
| summarize count(TimeGenerated) by identity_s, TimeGenerated

Azure Data Lake Storage Gen1 biedt een voorbeeld van het verwerken en analyseren van de logboekgegevens. U vindt het voorbeeld op https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Zie ook