إنشاء مشروع تسمية نصية وتصدير التسميات
تعرف على كيفية إنشاء مشاريع تصنيف البيانات وتشغيلها لتسمية البيانات النصية في Azure التعلم الآلي. حدد إما تسمية واحدة أو تسميات متعددة ليتم تطبيقها على كل عنصر نصي.
يمكنك أيضا استخدام أداة وضع العلامات على البيانات لإنشاء مشروع وضع علامات على الصور.
إمكانات وضع العلامات النصية
يعد تصنيف بيانات Azure التعلم الآلي مكانا مركزيا لإنشاء مشاريع وضع العلامات على البيانات وإدارتها ومراقبتها:
- تنسيق البيانات والتسميات وأعضاء الفريق لإدارة مهام وضع العلامات بكفاءة.
- يتتبع التقدم المحرز ويحافظ على قائمة انتظار مهام وضع العلامات غير المكتملة.
- بدء المشروع وإيقافه والتحكم في تقدم وضع العلامات.
- راجع البيانات المصنفة وقم بتصديرها كمجموعة بيانات Azure التعلم الآلي.
هام
يجب أن تكون البيانات النصية متوفرة في مخزن بيانات Azure blob. (إذا لم يكن لديك مخزن بيانات موجود، فيمكنك تحميل الملفات أثناء إنشاء المشروع.)
تنسيقات البيانات المتاحة للبيانات النصية:
- .txt: يمثل كل ملف عنصرا واحدا ليتم تصنيفه.
- .csv أو . tsv: يمثل كل صف عنصرا واحدا معروضا على الملصق. يمكنك تحديد الأعمدة التي يمكن أن يراها الملصق لتسمية الصف.
المتطلبات الأساسية
- البيانات التي تريد تصنيفها، إما في الملفات المحلية أو في وحدة تخزين Azure blob.
- مجموعة التصنيفات التي تريد تطبيقها.
- تعليمات وضع العلامات.
- اشتراك Azure. إذا لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانياً قبل أن تبدأ.
- مساحة عمل التعلم الآلي. راجع "Create an Azure التعلم الآلي workspace".
إنشاء مشروع وضع علامات نصية
تتم إدارة مشاريع وضع العلامات من Azure التعلم الآلي. يمكنك استخدام صفحة تسمية البيانات لإدارة مشاريعك.
إذا كانت بياناتك موجودة بالفعل في وحدة تخزين Azure Blob، فيجب إتاحتها كمخزن بيانات قبل إنشاء مشروع وضع العلامات.
لإنشاء مشروع، حدد إضافة مشروع. امنح المشروع اسما مناسبا. لا يمكن إعادة استخدام اسم المشروع، حتى إذا تم حذف المشروع في المستقبل.
حدد نص لإنشاء مشروع تسمية نصية.
- اختر تصنيف النص متعدد الفئات للمشاريع عندما تريد تطبيق تسمية واحدة فقط من مجموعة من التسميات على كل جزء من النص.
- اختر تصنيف النص متعدد التسميات للمشاريع عندما تريد تطبيق تسمية واحدة أو أكثر من مجموعة من التسميات على كل جزء من النص.
- اختر التعرف على الكيان المسمى بالنص (معاينة) للمشاريع عندما تريد تطبيق تسميات على كلمات نصية فردية أو متعددة في كل إدخال.
هام
التعرف على الكيان المسمى النص حاليا في المعاينة العامة. يتم توفير إصدار المعاينة بدون اتفاقية مستوى الخدمة، ولا يوصى به لأحمال عمل الإنتاج. بعض الميزات ربما لا تكون مدعمة أو بها بعض القدرات المقيدة لمزيد من المعلومات، راجع شروط الاستخدام التكميلية لمعاينات Microsoft Azure.
حدد التالي عندما تكون مستعدا للمتابعة.
إضافة قوة عاملة (اختياري)
حدد استخدام شركة وضع علامات مورد من Azure Marketplace فقط إذا كنت قد تعاقدت مع شركة لتصنيف البيانات من Azure Marketplace. ثم حدد المورد. إذا لم يظهر المورد في القائمة، فقم بإلغاء تحديد هذا الخيار.
تأكد أولا من الاتصال بالمورد وتوقيع عقد. لمزيد من المعلومات، راجع العمل مع شركة مورد لوضع علامات البيانات (معاينة).
حدد «Next» للمتابعة.
تحديد مجموعة بيانات أو إنشائها
إذا قمت بالفعل بإنشاء مجموعة بيانات تحتوي على بياناتك، فحددها من القائمة المنسدلة تحديد مجموعة بيانات موجودة . أو حدد إنشاء مجموعة بيانات لاستخدام مخزن بيانات Azure موجود أو لتحميل ملفات محلية.
ملاحظة
لا يمكن أن يحتوي المشروع على أكثر من 500000 ملف. إذا كانت مجموعة البيانات الخاصة بك تحتوي على المزيد، تحميل أول 500,000 ملف فقط.
إنشاء مجموعة بيانات من مخزن بيانات Azure
في كثير من الحالات ، لا بأس من تحميل الملفات المحلية فقط. لكن Azure Storage Explorer يوفر طريقة أسرع وأكثر قوة لنقل كمية كبيرة من البيانات. نوصي باستخدام "مستكشف التخزين" كطريقة افتراضية لنقل الملفات.
لإنشاء مجموعة بيانات من البيانات التي قمت بتخزينها بالفعل في وحدة تخزين Azure Blob:
- حدد إنشاء مجموعة>بياناتمن مخزن البيانات.
- قم بتعيين اسم لمجموعة البيانات الخاصة بك.
- اختر نوع مجموعة البيانات:
- حدد جدولي إذا كنت تستخدم ملف .csv أو .tsv، حيث يحتوي كل صف على استجابة. لا يتوفر جدول لمشاريع التعرف على الكيانات المسماة بالنص.
- حدد ملف إذا كنت تستخدم ملفات منفصلة .txt لكل استجابة.
- (اختياري) قدم وصفا لمجموعة البيانات الخاصة بك.
- حدد "Next".
- حدد مخزن البيانات.
- إذا كانت بياناتك موجودة في مجلد فرعي داخل مساحة تخزين blob، فاختر استعراض لتحديد المسار.
- إلحاق "/**" بالمسار لتضمين كافة الملفات في المجلدات الفرعية للمسار المحدد.
- قم بإلحاق "**/." لتضمين جميع البيانات الموجودة في الحاوية الحالية ومجلداتها الفرعية.
- حدد "Next".
- قم بتأكيد التفاصيل. حدد رجوع لتعديل الإعدادات أو إنشاء لإنشاء مجموعة البيانات.
إنشاء مجموعة بيانات من البيانات التي تم تحميلها
لتحميل بياناتك مباشرة:
- حدد إنشاء مجموعة>بياناتمن الملفات المحلية.
- قم بتعيين اسم لمجموعة البيانات الخاصة بك.
- اختر نوع مجموعة البيانات.
- حدد جدولي إذا كنت تستخدم ملف .csv أو .tsv، حيث يكون كل صف استجابة. لا يتوفر جدول لمشاريع التعرف على الكيانات المسماة بالنص.
- حدد ملف إذا كنت تستخدم ملفات منفصلة .txt لكل استجابة.
- (اختياري) قدم وصفا لمجموعة البيانات الخاصة بك.
- حدد التالي
- (اختياري) حدد مخزن بيانات أو قم بإنشائه. أو احتفظ بالإعداد الافتراضي للتحميل إلى متجر blob الافتراضي ("workspaceblobstore") لمساحة عمل التعلم الآلي.
- حدد Upload لتحديد الملف (الملفات) المحلي أو المجلد (المجلدات) المراد تحميله.
- حدد "Next".
- في حالة تحميل ملفات .csv أو .tsv:
- قم بتأكيد الإعدادات والمعاينة، وحدد التالي.
- قم بتضمين جميع أعمدة النص التي تريد أن يراها الملصق عند تصنيف هذا الصف. إذا كنت ستستخدم وضع العلامات بمساعدة ML، فقد تؤدي إضافة أعمدة رقمية إلى تدهور نموذج مساعدة ML.
- حدد "Next".
- قم بتأكيد التفاصيل. حدد رجوع لتعديل الإعدادات أو إنشاء لإنشاء مجموعة البيانات.
تكوين التحديث التزايدي
إذا كنت تخطط لإضافة ملفات جديدة إلى مجموعة البيانات الخاصة بك، فاستخدم التحديث التزايدي لإضافة هذه الملفات الجديدة إلى مشروعك.
عند تمكين التحديث التزايدي على فترات منتظمة ، يتم فحص مجموعة البيانات بشكل دوري بحثا عن ملفات جديدة لإضافتها إلى مشروع، استنادا إلى معدل إكمال وضع العلامات. يتوقف التحقق من وجود بيانات جديدة عندما يحتوي المشروع على 500000 ملف كحد أقصى.
حدد تمكين التحديث التزايدي على فترات منتظمة عندما تريد أن يراقب مشروعك باستمرار البيانات الجديدة في مخزن البيانات.
ألغ تحديد ما إذا كنت لا تريد إضافة ملفات جديدة في مخزن البيانات تلقائيا إلى مشروعك.
لإضافة المزيد من الملفات إلى مشروعك، استخدم Azure Storage Explorer للتحميل إلى المجلد المناسب في وحدة تخزين blob.
بعد إنشاء المشروع، استخدم علامة التبويب تفاصيل لتغيير التحديث التزايدي، وعرض الطابع الزمني للتحديث الأخير، وطلب تحديث فوري للبيانات.
ملاحظة
لا يتوفر التحديث التزايدي للمشاريع التي تستخدم إدخال مجموعة بيانات جدولي (.csv أو .tsv).
تحديد فئات التسمية
في صفحة فئات التسمية ، حدد مجموعة الفئات لتصنيف بياناتك. تتأثر دقة الملصقات وسرعتها بقدرتهم على الاختيار من بين الفصول. على سبيل المثال ، بدلا من توضيح الجنس والأنواع الكاملة للنباتات أو الحيوانات ، استخدم رمز حقل أو اختصر الجنس.
أدخل تصنيفا واحدا لكل صف. استخدم الزر + لإضافة صف جديد. إذا كان لديك أكثر من ثلاثة أو أربعة تسميات ولكن أقل من 10، فقد تحتاج إلى بادئة الأسماء بأرقام ("1: "، "2: ") حتى يتمكن القائمون على وضع العلامات من استخدام مفاتيح الأرقام لتسريع عملهم.
وصف مهمة تسمية النص
من المهم شرح مهمة وضع العلامات بوضوح. في صفحة تعليمات وضع العلامات، يمكنك إضافة ارتباط إلى موقع خارجي للحصول على تعليمات التصنيف ، أو تقديم إرشادات في مربع التحرير على الصفحة. حافظ على التعليمات موجهة نحو المهام ومناسبة للجمهور. فكر في هذه الأسئلة:
- ما هي التسميات التي سيرونها، وكيف سيختارون من بينها؟ هل هناك نص مرجعي للرجوع إليه؟
- ماذا يجب أن يفعلوا إذا لم يكن هناك تصنيف مناسب؟
- ماذا يجب أن يفعلوا إذا بدت التسميات المتعددة مناسبة؟
- ما هي عتبة الثقة التي يجب أن تنطبق على الملصق؟ هل تريد "أفضل تخمين" إذا لم يكونوا متأكدين؟
- ماذا يجب أن تفعل مع الأشياء المغلقة جزئيا أو المتداخلة ذات الاهتمام؟
- ماذا يجب أن يفعلوا إذا تم قص كائن مثير للاهتمام بواسطة حافة الصورة؟
- ماذا يجب أن يفعلوا بعد تقديم تصنيف إذا اعتقدوا أنهم ارتكبوا خطأ؟
- ماذا يجب أن يفعلوا إذا اكتشفوا مشكلات جودة الصورة بما في ذلك ظروف الإضاءة السيئة والانعكاسات وفقدان التركيز البؤري والخلفية غير المرغوب فيها المضمنة وزوايا الكاميرا غير الطبيعية وما إلى ذلك؟
- ماذا يجب أن يفعلوا إذا كان هناك العديد من المراجعين الذين لديهم آراء مختلفة حول التسميات؟
ملاحظة
تأكد من ملاحظة أن الملصقات ستكون قادرة على تحديد أول 9 تسميات باستخدام مفاتيح الأرقام 1-9.
استخدام وضع العلامات على البيانات بمساعدة ML
تتيح لك صفحة وضع العلامات بمساعدة ML تشغيل نماذج التعلم الآلي التلقائية لتسريع مهام وضع العلامات. يتوفر وضع العلامات بمساعدة ML لكل من مدخلات البيانات النصية للملفات (.txt) والجداول (.csv). لاستخدام وضع العلامات بمساعدة ML:
- حدد تمكين وضع العلامات بمساعدة ML.
- حدد لغة مجموعة البيانات للمشروع. كافة اللغات التي تدعمها فئة TextDNNLanguages موجودة في هذه القائمة.
- حدد هدف حساب لاستخدامه. إذا لم يكن لديك واحد في مساحة العمل الخاصة بك، إنشاء مجموعة حوسبة لك وإضافتها إلى مساحة العمل الخاصة بك. يتم إنشاء المجموعة بحد أدنى 0 عقد ، مما يعني أنها لا تكلف أي شيء عندما لا تكون قيد الاستخدام.
كيف يعمل وضع العلامات بمساعدة ML؟
في بداية مشروع وضع العلامات الخاص بك ، يتم خلط العناصر في ترتيب عشوائي لتقليل التحيز المحتمل. ومع ذلك ، فإن أي تحيزات موجودة في مجموعة البيانات ستنعكس في النموذج المدرب. على سبيل المثال ، إذا كانت 80٪ من العناصر الخاصة بك من فئة واحدة ، فإن حوالي 80٪ من البيانات المستخدمة لتدريب النموذج ستكون من تلك الفئة.
للتدريب على نموذج DNN النصي المستخدم بواسطة ML-assist، سيقتصر نص الإدخال لكل مثال تدريب على أول 128 كلمة تقريبا في المستند. بالنسبة للإدخال الجدولي، يتم أولا تسلسل جميع أعمدة النص قبل تطبيق هذا الحد. وهذا حد عملي مفروض للسماح بإكمال التدريب النموذجي في الوقت المناسب. يمكن أن يتجاوز النص الفعلي في مستند (لإدخال الملف) أو مجموعة من أعمدة النص (للإدخال الجدولي) 128 كلمة. يتعلق الحد فقط بما يتم الاستفادة منه داخليا من قبل النموذج أثناء عملية التدريب.
العدد الدقيق للعناصر المصنفة اللازمة لبدء وضع العلامات المساعدة ليس رقما ثابتا. يمكن أن يختلف هذا بشكل كبير من مشروع وضع العلامات إلى آخر، اعتمادا على العديد من العوامل، بما في ذلك عدد فئات التصنيفات وتوزيع التسميات.
نظرا لأن الملصقات النهائية لا تزال تعتمد على مدخلات من الملصق ، فإن هذه التقنية تسمى أحيانا الإنسان في حلقة وضع العلامات .
ملاحظة
لا يدعم وضع العلامات على البيانات بمساعدة ML حسابات التخزين الافتراضية المضمونة خلف شبكة افتراضية. يجب عليك استخدام حساب تخزين غير افتراضي لوضع العلامات على البيانات بمساعدة ML. يمكن تأمين حساب التخزين غير الافتراضي خلف الشبكة الافتراضية.
وضع العلامات مسبقا
بعد تقديم عدد كاف من التسميات للتدريب ، يتم استخدام النموذج المدرب للتنبؤ بالعلامات. يرى الملصق الآن الصفحات التي تحتوي على تصنيفات متوقعة موجودة بالفعل على كل عنصر. وتتمثل المهمة بعد ذلك في مراجعة هذه التنبؤات وتصحيح أي عناصر تم تصنيفها بشكل خاطئ قبل إرسال الصفحة.
بمجرد تدريب نموذج التعلم الآلي على بياناتك المصنفة يدويا، يتم تقييم النموذج على مجموعة اختبار من العناصر المصنفة يدويا لتحديد دقته عند عتبات ثقة مختلفة. تستخدم عملية التقييم هذه لتحديد عتبة الثقة التي يكون النموذج فوقها دقيقا بما يكفي لإظهار الملصقات المسبقة. ثم يتم تقييم النموذج مقابل بيانات غير مصنفة. يتم استخدام العناصر ذات التنبؤات الأكثر ثقة من هذه العتبة لوضع العلامات المسبقة.
تهيئة مشروع وضع العلامات النصية
بعد تهيئة مشروع وضع العلامات ، تكون بعض جوانب المشروع غير قابلة للتغيير. لا يمكنك تغيير نوع المهمة أو مجموعة البيانات. يمكنك تعديل التصنيفات وعنوان URL لوصف المهمة. راجع الإعدادات بعناية قبل إنشاء المشروع. بعد إرسال المشروع، يتم إرجاعك إلى الصفحة الرئيسية لتصنيف البيانات ، والتي ستعرض المشروع على أنه مهيأ.
ملاحظة
قد لا يتم تحديث هذه الصفحة تلقائيا. لذلك ، بعد الإيقاف المؤقت ، قم بتحديث الصفحة يدويا لرؤية حالة المشروع على أنها تم إنشاؤها.
تشغيل المشروع ومراقبته
بعد تهيئة المشروع، سيبدأ Azure في تشغيله. حدد المشروع في صفحة وضع العلامات على البيانات الرئيسية للاطلاع على تفاصيل المشروع.
لإيقاف المشروع مؤقتا أو إعادة تشغيله، قم بتبديل حالة التشغيل في أعلى اليسار. يمكنك فقط تسمية البيانات عند تشغيل المشروع.
لوحة المعلومات
تعرض علامة التبويب لوحة المعلومات تقدم مهمة وضع العلامات.
يوضح مخطط التقدم عدد العناصر التي تم تصنيفها أو تخطيها أو التي تحتاج إلى مراجعة أو لم يتم إنجازها بعد. مرر مؤشر الماوس فوق المخطط للاطلاع على عدد العناصر في كل قسم.
يعرض القسم الأوسط قائمة انتظار المهام التي لم يتم تعيينها بعد. إذا كان وضع العلامات بمساعدة ML قيد التشغيل، فسترى أيضا عدد العناصر المصنفة مسبقا.
على الجانب الأيسر يوجد توزيع للتسميات لتلك المهام المكتملة. تذكر أنه في بعض أنواع المشاريع، يمكن أن يحتوي العنصر على تسميات متعددة، وفي هذه الحالة يمكن أن يكون إجمالي عدد التسميات أكبر من إجمالي عدد العناصر.
علامة التبويب "بيانات"
في علامة التبويب بيانات ، يمكنك الاطلاع على مجموعة البيانات ومراجعة البيانات المصنفة. مرر عبر البيانات المصنفة لرؤية التصنيفات. إذا رأيت بيانات مصنفة بشكل غير صحيح، فحددها واختر رفض، مما سيؤدي إلى إزالة التصنيفات وإعادة البيانات إلى قائمة الانتظار غير المصنفة.
علامة التبويب تفاصيل
عرض تفاصيل مشروعك وتغييرها. في علامة التبويب هذه يمكنك:
- عرض تفاصيل المشروع ومجموعات بيانات الإدخال
- قم بتمكين التحديث التزايدي أو تعطيله على فترات منتظمة، أو اطلب تحديثا فوريا.
- عرض تفاصيل حاوية التخزين المستخدمة لتخزين المخرجات المصنفة في مشروعك
- إضافة تسميات إلى مشروعك
- تعديل التعليمات التي تقدمها لتصنيفاتك
وصول الملصقات
يمكن لأي شخص لديه حق وصول المساهم أو المالك إلى مساحة العمل الخاصة بك تسمية البيانات في مشروعك.
يمكنك أيضا إضافة مستخدمين وتخصيص الأذونات حتى يتمكنوا من الوصول إلى وضع العلامات ولكن ليس إلى أجزاء أخرى من مساحة العمل أو مشروع وضع العلامات. لمزيد من المعلومات، راجع إضافة مستخدمين إلى مشروع تصنيف البيانات.
إضافة فئة تسمية جديدة إلى مشروع
أثناء عملية وضع العلامات على البيانات، قد تحتاج إلى إضافة المزيد من التصنيفات لتصنيف العناصر. على سبيل المثال، قد ترغب في إضافة تصنيف "غير معروف" أو "غير معروف" للإشارة إلى الارتباك.
اتبع هذه الخطوات لإضافة تسمية واحدة أو أكثر إلى مشروع:
- حدد المشروع في صفحة وضع العلامات على البيانات الرئيسية.
- في أعلى يسار الصفحة، قم بتبديل التشغيل إلى إيقاف مؤقت لإيقاف الملصقات عن نشاطها.
- حدد علامة التبويب التفاصيل.
- في القائمة الموجودة على اليمين، حدد فئات التسمية.
- في أعلى القائمة، اختر + إضافة تصنيفات
- في النموذج، أضف تصنيفك الجديد. ثم اختر كيفية متابعة المشروع. نظرا لأنك غيرت التصنيفات المتاحة، يمكنك اختيار كيفية التعامل مع البيانات المصنفة بالفعل:
- ابدأ من جديد، وأزل جميع التصنيفات الموجودة. حدد هذا الخيار إذا كنت تريد بدء وضع العلامات من البداية باستخدام المجموعة الكاملة الجديدة من التسميات.
- ابدأ من جديد، مع الاحتفاظ بجميع التصنيفات الموجودة. حدد هذا الخيار لوضع علامة على جميع البيانات على أنها غير مصنفة، مع الاحتفاظ بالتسميات الحالية كعلامة افتراضية للصور التي تم تصنيفها مسبقا.
- تابع، مع الاحتفاظ بجميع التصنيفات الموجودة. حدد هذا الخيار للحفاظ على جميع البيانات المصنفة بالفعل كما هي، وابدأ في استخدام التصنيف الجديد للبيانات التي لم يتم تصنيفها بعد.
- عدل صفحة التعليمات حسب الضرورة للتصنيف (التسميات) الجديدة.
- بمجرد إضافة جميع التصنيفات الجديدة، في أعلى يسار الصفحة، قم بالتبديل مؤقتا إلى قيد التشغيل لإعادة تشغيل المشروع.
تصدير التسميات
استخدم الزر تصدير في صفحة تفاصيل Project لمشروع وضع العلامات. يمكنك تصدير بيانات التسمية لتجربة التعلم الآلي في أي وقت.
بالنسبة لكافة أنواع المشاريع بخلاف " التعرف على الكيان المسمى بالنص"، يمكنك تصدير:
- ملف CSV. يتم إنشاء ملف CSV في مخزن blob الافتراضي لمساحة عمل Azure التعلم الآلي في مجلد ضمن وضع العلامات/التصدير/csv.
- Azure التعلم الآلي مجموعة بيانات مع تسميات.
بالنسبة لمشاريع التعرف على الكيانات المسماة بالنص ، يمكنك تصدير:
ملف CoNLL. بالنسبة لهذا التصدير، سيتعين عليك أيضا تعيين مورد حوسبة. يتم تشغيل عملية التصدير دون اتصال وتقوم بإنشاء الملف كجزء من تشغيل تجربة. عندما يكون الملف جاهزا للتنزيل، سترى إشعارا في أعلى اليسار. حدد هذا لفتح الإشعار، الذي يتضمن الرابط إلى الملف.
الوصول إلى مجموعات بيانات Azure التعلم الآلي المصدرة في قسم مجموعات البيانات في التعلم الآلي. توفر صفحة تفاصيل مجموعة البيانات أيضا نموذجا للتعليمات البرمجية للوصول إلى تصنيفاتك من Python.
استكشاف الأخطاء وإصلاحها
استخدم هذه النصائح إذا رأيت أيا من هذه المشكلات.
| مشكلة | الدقة |
|---|---|
| يمكن استخدام مجموعات البيانات التي تم إنشاؤها على مخازن بيانات blob فقط. | قيود معروفة للإصدار الحالي. |
| بعد الإنشاء ، يعرض المشروع "التهيئة" لفترة طويلة. | قم بتحديث الصفحة يدويا. يجب أن تكتمل التهيئة عند حوالي 20 نقطة بيانات في الثانية. عدم وجود التحديث التلقائي هو مشكلة معروفة. |
| العناصر المصنفة حديثا غير مرئية في مراجعة البيانات. | لتحميل جميع العناصر المصنفة، اختر الزر أول . سيعيدك الزر " أول" إلى الجزء الأمامي من القائمة، ولكنه يقوم بتحميل جميع البيانات المصنفة. |
| غير قادر على تعيين مجموعة من المهام إلى ملصق معين. | قيود معروفة للإصدار الحالي. |