Webhelynaplók elemzése az Azure Data Lake Analytics használatával

  • Cikk

Megtudhatja, hogyan elemezheti a webhelynaplókat Data Lake Analytics használatával, különösen annak megállapításával, hogy mely hivatkozók ütköztek hibákba, amikor megpróbálták felkeresni a webhelyet.

Fontos

Az Azure Data Lake Analytics 2024. február 29-én megszűnt. További információ ezzel a bejelentéssel.

Az adatelemzéshez a szervezet használhatja a Azure Synapse Analyticset vagy a Microsoft Fabricet.

Előfeltételek

Csatlakozás az Azure szolgáltatáshoz

Mielőtt bármilyen U-SQL-szkriptet létrehozhat és tesztelhet, először csatlakoznia kell az Azure-hoz.

A Data Lake Analytics szolgáltatáshoz való kapcsolódáshoz

  1. Nyissa meg a Visual Studiót.
  2. Válassza a Data Lake > Beállításai és beállításai lehetőséget.
  3. Válassza a Bejelentkezés vagy a Felhasználó módosítása lehetőséget, ha valaki bejelentkezett, és kövesse az utasításokat.
  4. A Beállítások és beállítások párbeszédpanel bezárásához kattintson az OK gombra .

A Data Lake Analytics-fiókok tallózása

  1. Nyissa meg a Kiszolgálókezelőt a Visual Studióban a CTRL+ALT+S billentyűkombinációval.
  2. A Server Explorer eszközben bontsa ki az Azure elemet, majd a Data Lake Analytics elemet. Ekkor megjelenik a Data Lake Analytics-fiókok listája, ha vannak ilyenek. A stúdióból nem hozhat létre Data Lake Analytics-fiókokat. A fiókok létrehozásával kapcsolatos információkért lásd: Az Azure Data Lake Analytics használatának első lépései az Azure Portallal vagy Az Azure Data Lake Analytics használatának első lépései az Azure PowerShell-lel.

U-SQL-alkalmazás fejlesztése

Az U-SQL-alkalmazások többnyire U-SQL-szkriptek. További információ az U-SQL-ről: Ismerkedés az U-SQL-lel.

Hozzáadhat felhasználó által definiált operátorokat az alkalmazáshoz. További információ: U-SQL felhasználó által definiált operátorok fejlesztése Data Lake Analytics feladatokhoz.

Data Lake Analytics-feladat létrehozása és elküldése

  1. Válassza az Új > projekt fájlja > lehetőséget.

  2. Válassza ki a U-SQL projekt típust.

    új U-SQL Visual Studio-projekt

  3. Válassza az OK lehetőséget. A Visual Studio létrehoz egy megoldást egy Script.usql fájllal.

  4. Írja be a következő szkriptet a Script.usql fájlba:

    // Create a database for easy reuse, so you don't need to read from a file very time.
CREATE DATABASE IF NOT EXISTS SampleDBTutorials;

// Create a Table valued function. TVF ensures that your jobs fetch data from he weblog file with the correct schema.
DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
RETURNS @result TABLE
(
    s_date DateTime,
    s_time string,
    s_sitename string,
    cs_method string,
    cs_uristem string,
    cs_uriquery string,
    s_port int,
    cs_username string,
    c_ip string,
    cs_useragent string,
    cs_cookie string,
    cs_referer string,
    cs_host string,
    sc_status int,
    sc_substatus int,
    sc_win32status int,
    sc_bytes int,
    cs_bytes int,
    s_timetaken int
)
AS
BEGIN

    @result = EXTRACT
        s_date DateTime,
        s_time string,
        s_sitename string,
        cs_method string,
        cs_uristem string,
        cs_uriquery string,
        s_port int,
        cs_username string,
        c_ip string,
        cs_useragent string,
        cs_cookie string,
        cs_referer string,
        cs_host string,
        sc_status int,
        sc_substatus int,
        sc_win32status int,
        sc_bytes int,
        cs_bytes int,
        s_timetaken int
    FROM @"/Samples/Data/WebLog.log"
    USING Extractors.Text(delimiter:' ');
    RETURN;
END;

// Create a table for storing referrers and status
DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
@weblog = SampleDBTutorials.dbo.WeblogsView();
CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
(
    INDEX idx1
    CLUSTERED(Year ASC)
    DISTRIBUTED BY HASH(Year)
) AS

SELECT s_date.Year AS Year,
    s_date.Month AS Month,
    s_date.Day AS Day,
    cs_referer,
    sc_status,
    COUNT(DISTINCT c_ip) AS cnt
FROM @weblog
GROUP BY s_date,
        cs_referer,
        sc_status;

    Az U-SQL megismeréséhez tekintse meg a Data Lake Analytics U-SQL nyelv használatának első lépéseit ismertető cikket.

  5. Adjon hozzá egy új U-SQL-szkriptet a projekthez, és írja be a következőt:

    // Query the referrers that ran into errors
@content =
    SELECT *
    FROM SampleDBTutorials.dbo.ReferrersPerDay
    WHERE sc_status >=400 AND sc_status < 500;

OUTPUT @content
TO @"/Samples/Outputs/UnsuccessfulResponses.log"
USING Outputters.Tsv();

  6. Váltson vissza az első U-SQL-szkriptre, és a Küldés gomb mellett adja meg az Analytics-fiókját.

  7. A Megoldáskezelő válassza a jobb gombbal a Script.usql elemet, majd válassza a Szkript létrehozása lehetőséget. Ellenőrizze az eredményeket a Kimenet panelen.

  8. A Megoldáskezelő válassza a jobb gombbal a Script.usql elemet, majd válassza a Szkript elküldése lehetőséget.

  9. Ellenőrizze, hogy az Analytics-fiók az, ahol futtatni szeretné a feladatot, majd válassza a Küldés lehetőséget. Az elküldés után az eredmények és a feladatra mutató hivatkozás megjelenik a Data Lake Tools for Visual Studio Eredmények ablakában.

  10. Várjon, amíg a feladat sikeresen befejeződik. Ha a feladat meghiúsult, valószínűleg hiányzik a forrásfájl. Tekintse meg az oktatóanyag Előfeltételek szakaszát. További hibaelhárítási információkért lásd: Azure Data Lake Analytics-feladatok monitorozása és hibaelhárítása.

    A feladat befejezése után a következő képernyő jelenik meg:

    data lake analytics analyze weblogs website logs

  11. Most ismételje meg a Script1.usql 7–10. lépését.

Feladat kimenetének megtekintése

  1. A Kiszolgálókezelőben bontsa ki az Azure elemet, bontsa ki a Data Lake Analytics, bontsa ki Data Lake Analytics fiókját, bontsa ki a Tárfiókok elemet, kattintson a jobb gombbal az alapértelmezett Data Lake Storage fiókra, majd válassza az Explorer lehetőséget.
  2. Kattintson duplán a Minták elemre a mappa megnyitásához, majd kattintson duplán a Kimenetek elemre.
  3. Kattintson duplán a UnsuccessfulResponses.log.
  4. A kimeneti fájlra duplán kattintva közvetlenül a kimenetre léphet a feladat gráfnézetében.

Következő lépések

A Data Lake Analytics különböző eszközökkel való használatának megismeréséhez lásd: