Analizzare i log dei siti Web con Azure Data Lake AnalyticsAnalyze Website logs using Azure Data Lake Analytics

Informazioni su come analizzare i log dei siti Web con Analisi Data Lake, in particolare come scoprire quali referrer hanno riscontrato errori durante la visita al il sito Web.Learn how to analyze website logs using Data Lake Analytics, especially on finding out which referrers ran into errors when they tried to visit the website.

PrerequisitiPrerequisites

Connect to AzureConnect to Azure

Prima di poter compilare e testare qualsiasi script U-SQL, è necessario connettersi ad Azure.Before you can build and test any U-SQL scripts, you must first connect to Azure.

Per connettersi ad Analisi Data LakeTo connect to Data Lake Analytics

  1. Aprire Visual Studio.Open Visual Studio.
  2. Fare clic su Data Lake > Opzioni e impostazioni.Click Data Lake > Options and Settings.
  3. Fare clic su Accedi o Cambia utente se un altro utente ha già eseguito l'accesso e seguire le istruzioni.Click Sign In, or Change User if someone has signed in, and follow the instructions.
  4. Fare clic su OK per chiudere la finestra di dialogo Opzioni e impostazioni.Click OK to close the Options and Settings dialog.

Per accedere agli account Analisi Data Lake personaliTo browse your Data Lake Analytics accounts

  1. In Visual Studio aprire Esplora server premendo i tasti CTRL + ALT + S.From Visual Studio, open Server Explorer by press CTRL+ALT+S.
  2. Da Esplora server espandere Azure e quindi Data Lake Analytics.From Server Explorer, expand Azure, and then expand Data Lake Analytics. Verrà visualizzato l'elenco degli account di Analisi Data Lake personali, se disponibili.You shall see a list of your Data Lake Analytics accounts if there are any. Non è possibile creare account Analisi Data Lake da Visual Studio.You cannot create Data Lake Analytics accounts from the studio. Per creare un account, vedere Introduzione ad Azure Data Lake Analytics con il portale di Azure o Introduzione ad Azure Data Lake Analytics con Azure PowerShell.To create an account, see Get Started with Azure Data Lake Analytics using Azure Portal or Get Started with Azure Data Lake Analytics using Azure PowerShell.

Sviluppare un'applicazione U-SQLDevelop U-SQL application

Un'applicazione U-SQL è principalmente uno script U-SQL.A U-SQL application is mostly a U-SQL script. Per altre informazioni su U-SQL, vedere Introduzione a U-SQL.To learn more about U-SQL, see Get started with U-SQL.

È possibile aggiungere all'applicazione operatori addizione definiti dall'utente.You can add addition user-defined operators to the application. Per altre informazioni, vedere Sviluppare operatori U-SQL definiti dall'utente per i processi di Analisi Data Lake.For more information, see Develop U-SQL user defined operators for Data Lake Analytics jobs.

Per creare e inviare un processo di Analisi Data LakeTo create and submit a Data Lake Analytics job

  1. Fare clic su File > Nuovo > Progetto.Click the File > New > Project.
  2. Selezionare il tipo Progetto U-SQL.Select the U-SQL Project type.

    nuovo progetto U-SQL di Visual Studio

  3. Fare clic su OK.Click OK. Visual Studio crea una soluzione con un file Script.usql.Visual studio creates a solution with a Script.usql file.
  4. Immettere lo script seguente nel file Script.usql:Enter the following script into the Script.usql file:

     // Create a database for easy reuse, so you don't need to read from a file every time.
     CREATE DATABASE IF NOT EXISTS SampleDBTutorials;
    
     // Create a Table valued function. TVF ensures that your jobs fetch data from the weblog file with the correct schema.
     DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
     CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
     RETURNS @result TABLE
     (
         s_date DateTime,
         s_time string,
         s_sitename string,
         cs_method string,
         cs_uristem string,
         cs_uriquery string,
         s_port int,
         cs_username string,
         c_ip string,
         cs_useragent string,
         cs_cookie string,
         cs_referer string,
         cs_host string,
         sc_status int,
         sc_substatus int,
         sc_win32status int,
         sc_bytes int,
         cs_bytes int,
         s_timetaken int
     )
     AS
     BEGIN
    
         @result = EXTRACT
             s_date DateTime,
             s_time string,
             s_sitename string,
             cs_method string,
             cs_uristem string,
             cs_uriquery string,
             s_port int,
             cs_username string,
             c_ip string,
             cs_useragent string,
             cs_cookie string,
             cs_referer string,
             cs_host string,
             sc_status int,
             sc_substatus int,
             sc_win32status int,
             sc_bytes int,
             cs_bytes int,
             s_timetaken int
         FROM @"/Samples/Data/WebLog.log"
         USING Extractors.Text(delimiter:' ');
         RETURN;
     END;
    
     // Create a table for storing referrers and status
     DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
     @weblog = SampleDBTutorials.dbo.WeblogsView();
     CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
     (
         INDEX idx1
         CLUSTERED(Year ASC)
         DISTRIBUTED BY HASH(Year)
     ) AS
    
     SELECT s_date.Year AS Year,
         s_date.Month AS Month,
         s_date.Day AS Day,
         cs_referer,
         sc_status,
         COUNT(DISTINCT c_ip) AS cnt
     FROM @weblog
     GROUP BY s_date,
             cs_referer,
             sc_status;
    

    Per informazioni su U-SQL, vedere Introduzione al linguaggio U-SQL con Analisi Data Lake.To understand the U-SQL, see Get started with Data Lake Analytics U-SQL language.

  5. Aggiungere al progetto un nuovo script U-SQL e immettere quanto segue:Add a new U-SQL script to your project and enter the following:

     // Query the referrers that ran into errors
     @content =
         SELECT *
         FROM SampleDBTutorials.dbo.ReferrersPerDay
         WHERE sc_status >=400 AND sc_status < 500;
    
     OUTPUT @content
     TO @"/Samples/Outputs/UnsuccessfulResponses.log"
     USING Outputters.Tsv();
    
  6. Tornare al primo script U-SQL e accanto al pulsante Invia , specificare l'account di analisi.Switch back to the first U-SQL script and next to the Submit button, specify your Analytics account.
  7. In Esplora soluzioni fare clic con il pulsante destro del mouse su Script.usql e quindi scegliere Build Script (Compila script).From Solution Explorer, right click Script.usql, and then click Build Script. Verificare il risultato nel riquadro di output.Verify the results in the Output pane.
  8. In Esplora soluzioni fare clic con il pulsante destro del mouse su Script.usql e quindi scegliere Submit Script (Invia script).From Solution Explorer, right click Script.usql, and then click Submit Script.
  9. Verificare che Account Analisi sia quello in cui si vuole eseguire il processo e quindi fare clic su Invia.Verify the Analytics Account is the one where you want to run the job, and then click Submit. Al termine della procedura di invio, nella finestra dei risultati di Strumenti di Data Lake per Visual Studio saranno disponibili i risultati dell'operazione di invio e il collegamento al processo.Submission results and job link are available in the Data Lake Tools for Visual Studio Results window when the submission is completed.
  10. Attendere che il processo venga completato.Wait until the job is completed successfully. Se il processo non riesce, è molto probabile che manchi il file di origine.If the job failed, it is most likely missing the source file. Vedere la sezione Prerequisiti di questa esercitazione.Please see the Prerequisite section of this tutorial. Per altre informazioni sulla risoluzione dei problemi, vedere Monitoraggio e risoluzione dei problemi dei processi di Analisi Azure Data Lake.For additional troubleshooting information, see Monitor and troubleshoot Azure Data Lake Analytics jobs.

    Una volta completato il processo, verrà visualizzata la schermata seguente:When the job is completed, you shall see the following screen:

    Analisi Data Lake analizzare i log dei siti Web log dei siti Web

  11. Ripetere i passaggi da 7 a 10 per Script1.usql.Now repeat steps 7- 10 for Script1.usql.

Per visualizzare l'output del processoTo see the job output

  1. Da Esplora server espandere Azure, quindi Data Lake Analytics, l'account Data Lake Analytics e infine Account di archiviazione. Fare clic con il pulsante destro del mouse sull'account Data Lake Analytics predefinito e quindi scegliere Esplora.From Server Explorer, expand Azure, expand Data Lake Analytics, expand your Data Lake Analytics account, expand Storage Accounts, right-click the default Data Lake Storage account, and then click Explorer.
  2. Fare doppio clic su Esempi per aprire la cartella e quindi su Output.Double-click Samples to open the folder, and then double-click Outputs.
  3. Fare doppio clic su UnsuccessfulResponsees.log.Double-click UnsuccessfulResponsees.log.
  4. È anche possibile fare doppio clic sul file di output nella visualizzazione grafico del processo per passare direttamente al file di output.You can also double-click the output file inside the graph view of the job in order to navigate directly to the output.

Vedere ancheSee also

Per iniziare a usare Analisi Data Lake usando vari tipi di strumenti, vedere:To get started with Data Lake Analytics using different tools, see: