Accesso ai log di diagnostica per Archivio Data Lake di AzureAccessing diagnostic logs for Azure Data Lake Store

Informazioni su come abilitare la registrazione diagnostica per l'account Data Lake Store e visualizzare i log raccolti per l'account.Learn to enable diagnostic logging for your Data Lake Store account and how to view the logs collected for your account.

Le organizzazioni possono abilitare la registrazione diagnostica per il loro account di Archivio Data Lake di Azure per raccogliere gli audit trial di accesso ai dati che forniscono varie informazioni, come l’elenco di utenti che hanno avuto accesso ai dati, la frequenza di accesso ai dati, la quantità di dati archiviati nell’account, ecc.Organizations can enable diagnostic logging for their Azure Data Lake Store account to collect data access audit trails that provides information such as list of users accessing the data, how frequently the data is accessed, how much data is stored in the account, etc.

PrerequisitiPrerequisites

Abilitare la registrazione diagnostica per l'account di Archivio Data LakeEnable diagnostic logging for your Data Lake Store account

  1. Accedere al nuovo portale di Azure.Sign on to the new Azure portal.
  2. Aprire l'account di Data Lake Store e nel pannello corrispondente fare clic su Impostazioni e quindi su Log di diagnostica.Open your Data Lake Store account, and from your Data Lake Store account blade, click Settings, and then click Diagnostic logs.
  3. Nel pannello Log di diagnostica, fare clic su Attivare la diagnostica.In the Diagnostics logs blade, click Turn on diagnostics.

    Abilitare la funzionalità di registrazione diagnosticaEnable diagnostic logging

  4. Nel pannello Diagnostica , apportare le modifiche seguenti per configurare la registrazione diagnostica.In the Diagnostic blade, make the following changes to configure diagnostic logging.

    Abilitare la funzionalità di registrazione diagnosticaEnable diagnostic logging

    • Per Nome immettere un valore per la configurazione del log di diagnostica.For Name, enter a value for the diagnostic log configuration.
    • È possibile scegliere di archiviare/elaborare i dati in modi diversi.You can choose to store/process the data in different ways.

      • Selezionare l'opzione per archiviare in un account di archiviazione per archiviare i log in un account di archiviazione di Azure.Select the option to Archive to a storage account to store logs to an Azure Storage account. Utilizzare questa opzione se si desidera archiviare i dati che saranno elaborati in batch in un secondo momento.You use this option if you want to archive the data that will be batch-processed at a later date. Se si seleziona questa opzione è necessario fornire un account di archiviazione di Azure in cui salvare i log.If you select this option you must provide an Azure Storage account to save the logs to.

      • Selezionare l'opzione per eseguire lo streaming in Hub eventi per trasmettere i dati di log a un Hub eventi di Azure.Select the option to Stream to an event hub to stream log data to an Azure Event Hub. Molto probabilmente questa opzione viene utilizzata se si dispone di una pipeline di elaborazione a valle per analizzare in tempo reale i log in ingresso.Most likely you will use this option if you have a downstream processing pipeline to analyze incoming logs at real time. Se si seleziona questa opzione, è necessario fornire i dettagli dell'Hub eventi di Azure che si desidera utilizzare.If you select this option, you must provide the details for the Azure Event Hub you want to use.

      • Selezionare l'opzione per inviare a Log Analytics per usare il servizio Log Analytics di Azure per analizzare i dati di log generati.Select the option to Send to Log Analytics to use the Azure Log Analytics service to analyze the generated log data. Se si seleziona questa opzione, è necessario fornire i dettagli per l'area di lavoro di Operations Management Suite che si vuole usare per eseguire l'analisi dei log.If you select this option, you must provide the details for the Operations Management Suite workspace that you would use the perform log analysis.

    • Specificare se si desidera ottenere i log di controllo, i log delle richieste o entrambi.Specify whether you want to get audit logs or request logs or both.

    • Specificare il numero di giorni per cui devono essere conservati i dati.Specify the number of days for which the data must be retained. La conservazione dei dati è disponibile solo se si usano account di archiviazione di Azure per archiviare i dati del log.Retention is only applicable if you are using Azure storage account to archive log data.
    • Fare clic su Save.Click Save.

Dopo aver attivato le impostazioni di diagnostica, è possibile controllare i log nella scheda Log di diagnostica .Once you have enabled diagnostic settings, you can watch the logs in the Diagnostic Logs tab.

Visualizzare i log di diagnostica dell'account di Archivio Data LakeView diagnostic logs for your Data Lake Store account

Esistono due modi per visualizzare i dati di log dell'account Data Lake Store.There are two ways to view the log data for your Data Lake Store account.

  • Dalla visualizzazione delle impostazioni dell'account Data Lake StoreFrom the Data Lake Store account settings view
  • Dall'account di Archiviazione di Azure dove sono archiviati i datiFrom the Azure Storage account where the data is stored

Usando la visualizzazione Impostazioni dell'account Data Lake StoreUsing the Data Lake Store Settings view

  1. Nel pannello Impostazioni dell'account Data Lake Store fare clic su Log di diagnostica.From your Data Lake Store account Settings blade, click Diagnostic Logs.

    Visualizzare la registrazione diagnosticaView diagnostic logging

  2. Nel pannello Log di diagnostica vengono visualizzati i log classificati come log di controllo e log delle richieste.In the Diagnostic Logs blade, you should see the logs categorized by Audit Logs and Request Logs.

    • I log delle richieste acquisiscono tutte le richieste API fatte nell’account di Archivio Data Lake.Request logs capture every API request made on the Data Lake Store account.
    • I log di controllo sono simili a quelli delle richieste ma forniscono una suddivisione più dettagliata delle operazioni eseguite nell'account di Archivio Data Lake.Audit Logs are similar to request Logs but provide a much more detailed breakdown of the operations being performed on the Data Lake Store account. Ad esempio, una singola chiamata API di caricamento nei log delle richieste potrebbe risultare in molteplici operazioni di "Aggiungi" nei log di controllo.For example, a single upload API call in request logs might result in multiple "Append" operations in the audit logs.
  3. Per scaricare i log, fare clic sul collegamento Scarica per ogni voce di log.To download the logs, click the Download link against each log entry.

Dall'account di Archiviazione di Azure che contiene i dati di logFrom the Azure Storage account that contains log data

  1. Aprire il pannello Account di Archiviazione di Azure associato a Data Lake Store per la registrazione e quindi fare clic su BLOB.Open the Azure Storage account blade associated with Data Lake Store for logging, and then click Blobs. Il pannello Servizio BLOB elenca due contenitori.The Blob service blade lists two containers.

    Visualizzare la registrazione diagnosticaView diagnostic logging

    • Il contenitore insights-logs-audit contiene i log di controllo.The container insights-logs-audit contains the audit logs.
    • Il contenitore insights-logs-requests contiene i log delle richieste.The container insights-logs-requests contains the request logs.
  2. All'interno di questi contenitori i log vengono archiviati con la struttura seguente.Within these containers, the logs are stored under the following structure.

    Visualizzare la registrazione diagnosticaView diagnostic logging

    Ad esempio, il percorso completo a un log di controllo potrebbe essere https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestore/y=2016/m=07/d=18/h=04/m=00/PT1H.jsonAs an example, the complete path to an audit log could be https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestore/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Analogamente, il percorso completo di un log richieste potrebbe essere https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestore/y=2016/m=07/d=18/h=14/m=00/PT1H.jsonSimilarly, the complete path to a request log could be https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestore/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Informazioni sulla struttura dei dati del logUnderstand the structure of the log data

I log di controllo e delle richieste sono in formato JSON.The audit and request logs are in a JSON format. In questa sezione, viene esaminata la struttura di JSON per i log delle richieste e di controllo.In this section, we look at the structure of JSON for request and audit logs.

Request LogsRequest logs

Di seguito viene riportata una voce di esempio nel log delle richieste in formato JSON.Here's a sample entry in the JSON-formatted request log. Ogni BLOB ha un oggetto radice denominato record che contiene una matrice di oggetti di log.Each blob has one root object called records that contains an array of log objects.

{
"records": 
  [        
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_store_account_name>",
         "category": "Requests",
         "operationName": "GETCustomerIngressEgress",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {"HttpMethod":"GET","Path":"/webhdfs/v1/Samples/Outputs/Drivers.csv","RequestContentLength":0,"ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8","StartTime":"2016-07-07T21:02:52.472Z","EndTime":"2016-07-07T21:02:53.456Z"}
    }
    ,
    . . . .
  ]
}

Schema del log delle richiesteRequest log schema

NomeName TipoType DescrizioneDescription
timetime StringString Il timestamp del log (fusorario UTC)The timestamp (in UTC) of the log
resourceIdresourceId StringString L’ID della risorsa interessata dall’operazioneThe ID of the resource that operation took place on
categorycategory StringString La categoria di log.The log category. Ad esempio, Richieste.For example, Requests.
operationNameoperationName StringString Il nome dell'operazione registrata.Name of the operation that is logged. Ad esempio, getfilestatus.For example, getfilestatus.
resultTyperesultType StringString Lo stato dell'operazione, ad esempio 200.The status of the operation, For example, 200.
callerIpAddresscallerIpAddress StringString L’indirizzo IP del client che esegue la richiestaThe IP address of the client making the request
correlationIdcorrelationId StringString L'ID del log utilizzato per raggruppare un set di voci di log correlateThe id of the log that can used to group together a set of related log entries
identityidentity OggettoObject L'identità che ha generato il logThe identity that generated the log
propertiesproperties JSONJSON Vedere di seguito per ulteriori dettagliSee below for details

Schema delle proprietà del log di richiestaRequest log properties schema

NomeName TipoType DescrizioneDescription
HttpMethodHttpMethod StringString Il metodo HTTP utilizzato per l'operazione.The HTTP Method used for the operation. Esempio: GET.For example, GET.
PathPath StringString Il percorso coinvolto nell'operazioneThe path the operation was performed on
RequestContentLengthRequestContentLength intint La lunghezza del contenuto della richiesta HTTPThe content length of the HTTP request
ClientRequestIdClientRequestId StringString L’ID che identifica in modo univoco la richiestaThe Id that uniquely identifies this request
StartTimeStartTime StringString L'ora in cui il server ha ricevuto la richiestaThe time at which the server received the request
EndTimeEndTime StringString L'ora in cui il server ha inviato una rispostaThe time at which the server sent a response

Log di controlloAudit logs

Di seguito viene riportata una voce di esempio nel log di controllo in formato JSON.Here's a sample entry in the JSON-formatted audit log. Ogni BLOB ha un oggetto radice denominato record che contiene una matrice di oggetti di log.Each blob has one root object called records that contains an array of log objects

{
"records": 
  [        
    . . . .
    ,
    {
         "time": "2016-07-08T19:08:59.359Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_store_account_name>",
         "category": "Audit",
         "operationName": "SeOpenStream",
         "resultType": "0",
         "correlationId": "381110fc03534e1cb99ec52376ceebdf;Append_BrEKAmg;25.66.9.145",
         "identity": "A9DAFFAF-FFEE-4BB5-A4A0-1B6CBBF24355",
         "properties": {"StreamName":"adl://<data_lake_store_account_name>.azuredatalakestore.net/logs.csv"}
    }
    ,
    . . . .
  ]
}

Schema del log di controlloAudit log schema

NomeName TipoType DescrizioneDescription
timetime StringString Il timestamp del log (fusorario UTC)The timestamp (in UTC) of the log
resourceIdresourceId StringString L’ID della risorsa interessata dall’operazioneThe ID of the resource that operation took place on
categorycategory StringString La categoria di log.The log category. Ad esempio, Audit.For example, Audit.
operationNameoperationName StringString Il nome dell'operazione registrata.Name of the operation that is logged. Ad esempio, getfilestatus.For example, getfilestatus.
resultTyperesultType StringString Lo stato dell'operazione, ad esempio 200.The status of the operation, For example, 200.
correlationIdcorrelationId StringString L'ID del log utilizzato per raggruppare un set di voci di log correlateThe id of the log that can used to group together a set of related log entries
identityidentity OggettoObject L'identità che ha generato il logThe identity that generated the log
propertiesproperties JSONJSON Vedere di seguito per ulteriori dettagliSee below for details

Schema delle proprietà del log di controlloAudit log properties schema

NomeName TipoType DescrizioneDescription
StreamNameStreamName StringString Il percorso coinvolto nell'operazioneThe path the operation was performed on

Esempi per elaborare i dati di logSamples to process the log data

Azure Data Lake Store fornisce un esempio su come elaborare e analizzare i dati di log.Azure Data Lake Store provides a sample on how to process and analyze the log data. È possibile trovare l'esempio all'indirizzo https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.You can find the sample at https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Vedere ancheSee also