تحليل سجلات موقع الويب باستخدام Azure Data Lake Analytics

مقالة
04/27/2022
قراءة خلال 4 دقائق

تعرف على كيفية تحليل سجلات موقع الويب باستخدام Data Lake Analytics ، خاصة عند معرفة المحيلين الذين واجهوا أخطاء عند محاولتهم زيارة موقع الويب.

المتطلبات الأساسية

Visual Studio 2015 أو Visual Studio 2013.
أدوات بحيرة البيانات Visual Studio.

بمجرد تثبيت أدوات بحيرة البيانات Visual Studio، سترى عنصر بحيرة البيانات في قائمة الأدوات في Visual Studio:
المعرفة الأساسية لتحليلات بحيرة البيانات وأدوات بحيرة البيانات Visual Studio. للبدء، راجع:
- تطوير برنامج نصي U-SQL باستخدام أدوات Data Lake Visual Studio.
حساب Data Lake Analytics. راجع إنشاء حساب Azure Data Lake Analytics.
تثبيت نموذج البيانات. في مدخل Azure، افتح حساب Data Lake Analytics وانقر على نماذج البرامج النصية في القائمة اليمنى، ثم انقر على نسخ نموذج البيانات.

قم بالاتصال بـ Azure

قبل أن تتمكن من إنشاء أي برامج نصية U-SQL واختبارها، يجب عليك أولا الاتصال ب Azure.

كيفية الاتصال بتحليلات بحيرة البيانات

افتح Visual Studio.
انقر فوق خيارات بحيرة > البيانات الإعدادات.
انقر على تسجيل الدخول، أو تغيير المستخدم إذا قام شخص ما بتسجيل الدخول، واتبع الإرشادات.
انقر فوق موافق لإغلاق مربع الحوار خيارات الإعدادات.

كيفية تصفح حساباتك في Data Lake Analytics

من Visual Studio، افتح مستكشف الخادم بالضغط على CTRL + ALT + S.
من مستكشف الخادم، قم بتوسيع Azure، ثم قم بتوسيع تحليلات بحيرة البيانات. سترى قائمة بحسابات Data Lake Analytics الخاصة بك إن وجدت. لا يمكنك إنشاء حسابات Data Lake Analytics من الاستوديو. لإنشاء حساب، راجع بدء الاستخدام باستخدام Azure Data Lake Analytics باستخدام مدخل Azure أو بدء الاستخدام باستخدام Azure Data Lake Analytics باستخدام Azure PowerShell.

تطوير تطبيق U-SQL

تطبيق U-SQL هو في الغالب برنامج نصي U-SQL. لمعرفة المزيد حول U-SQL، راجع بدء استخدام U-SQL.

يمكنك إضافة عوامل تشغيل معرفة من قبل المستخدم إلى التطبيق. لمزيد من المعلومات، راجع تطوير عوامل تشغيل SQL المعرفة من قبل المستخدم لوظائف Data Lake Analytics.

لإنشاء وظيفة في Data Lake Analytics وإرسالها

انقر فوق > ملف جديد > Project.
حدد نوع U-SQL Project.
انقر فوق موافق. يقوم Visual studio بإنشاء حل باستخدام ملف Script.usql.

أدخل البرنامج النصي التالي في الملف Script.usql:

// Create a database for easy reuse, so you don't need to read from a file very time.
CREATE DATABASE IF NOT EXISTS SampleDBTutorials;

// Create a Table valued function. TVF ensures that your jobs fetch data from he weblog file with the correct schema.
DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
RETURNS @result TABLE
(
    s_date DateTime,
    s_time string,
    s_sitename string,
    cs_method string,
    cs_uristem string,
    cs_uriquery string,
    s_port int,
    cs_username string,
    c_ip string,
    cs_useragent string,
    cs_cookie string,
    cs_referer string,
    cs_host string,
    sc_status int,
    sc_substatus int,
    sc_win32status int,
    sc_bytes int,
    cs_bytes int,
    s_timetaken int
)
AS
BEGIN

    @result = EXTRACT
        s_date DateTime,
        s_time string,
        s_sitename string,
        cs_method string,
        cs_uristem string,
        cs_uriquery string,
        s_port int,
        cs_username string,
        c_ip string,
        cs_useragent string,
        cs_cookie string,
        cs_referer string,
        cs_host string,
        sc_status int,
        sc_substatus int,
        sc_win32status int,
        sc_bytes int,
        cs_bytes int,
        s_timetaken int
    FROM @"/Samples/Data/WebLog.log"
    USING Extractors.Text(delimiter:' ');
    RETURN;
END;

// Create a table for storing referrers and status
DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
@weblog = SampleDBTutorials.dbo.WeblogsView();
CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
(
    INDEX idx1
    CLUSTERED(Year ASC)
    DISTRIBUTED BY HASH(Year)
) AS

SELECT s_date.Year AS Year,
    s_date.Month AS Month,
    s_date.Day AS Day,
    cs_referer,
    sc_status,
    COUNT(DISTINCT c_ip) AS cnt
FROM @weblog
GROUP BY s_date,
        cs_referer,
        sc_status;

لفهم SQL، راجع بدء استخدام لغة U-SQL Data Lake Analytics.

أضف نصا برمجيا جديدا SQL U- إلى مشروعك وأدخل ما يلي:

// Query the referrers that ran into errors
@content =
    SELECT *
    FROM SampleDBTutorials.dbo.ReferrersPerDay
    WHERE sc_status >=400 AND sc_status < 500;

OUTPUT @content
TO @"/Samples/Outputs/UnsuccessfulResponses.log"
USING Outputters.Tsv();

عد إلى أول برنامج نصي SQL U- وبجوار الزر إرسال، حدد حسابك في Analytics.
من مستكشف الحلول، انقر بزر الماوس الأيمن فوق Script.usql ومن ثم انقر فوق إنشاء برنامج نصي. تحقق من النتائج في جزء الإخراج.
من مستكشف الحلول، انقر بزر الماوس الأيمن فوق Script.usql ومن ثم انقر فوق إرسال البرنامج النصي.
تحقق من أن حساب Analytics هو الحساب الذي تريد تشغيل المهمة فيه، ثم انقر على إرسال. تتوفر نتائج الإرسال ورابط الوظيفة في نافذة أدوات بحيرة البيانات Visual Studio عند اكتمال الإرسال.
انتظر حتى تكتمل المهمة بنجاح. إذا فشلت المهمة ، فمن المرجح أن تكون في عداد المفقودين الملف المصدر. يرجى الاطلاع على قسم المتطلبات الأساسية من هذا البرنامج التعليمي. للحصول على معلومات إضافية حول استكشاف الأخطاء وإصلاحها، راجع مراقبة وظائف Azure Data Lake Analytics واستكشاف الأخطاء وإصلاحها.

عند الانتهاء من المهمة ، سترى الشاشة التالية:
الآن كرر الخطوات من 7 إلى 10 ل Script1.usql.

للاطلاع على مخرجات المهمة

من مستكشف الخادم، قم بتوسيع Azure، وقم بتوسيع Data Lake Analytics، وقم بتوسيع حساب Data Lake Analytics، وقم بتوسيع حسابات التخزين، وانقر بزر الماوس الأيمن فوق حساب Data Lake Storage الافتراضي، ثم انقر فوق مستكشف.
انقر نقرا مزدوجا فوق عينات لفتح المجلد ثم انقر نقرا مزدوجا فوق المخرجات.
انقر نقرا مزدوجا فوق الاستجابات غير الناجحة.log.
يمكنك أيضا النقر نقرا مزدوجا فوق ملف الإخراج داخل طريقة عرض الرسم البياني للمهمة للانتقال مباشرة إلى الإخراج.

الخطوات التالية

لبدء استخدام Data Lake Analytics باستخدام أدوات مختلفة، راجع: