إنشاء نموذج مخصص لتحليل الصور (معاينة)

يسمح لك Image Analysis 4.0 بتدريب نموذج مخصص باستخدام صور التدريب الخاصة بك. من خلال تسمية الصور يدويا، يمكنك تدريب نموذج لتطبيق علامات مخصصة على الصور (تصنيف الصور) أو الكشف عن الكائنات المخصصة (الكشف عن الكائنات). نماذج تحليل الصور 4.0 فعالة بشكل خاص في التعلم قليلة اللقطات، حتى تتمكن من الحصول على نماذج دقيقة مع بيانات تدريب أقل.

يوضح لك هذا الدليل كيفية إنشاء نموذج تصنيف صور مخصص وتدريبه. يتم ملاحظة الاختلافات القليلة بين تدريب نموذج تصنيف الصور ونموذج الكشف عن الكائنات.

المتطلبات الأساسية

• اشتراك Azure - إنشاء اشتراك مجانًا
• بمجرد أن يكون لديك اشتراك Azure، قم بإنشاء مورد Vision في مدخل Microsoft Azure للحصول على المفتاح ونقطة النهاية. إذا كنت تتبع هذا الدليل باستخدام Vision Studio، فيجب عليك إنشاء المورد الخاص بك في منطقة شرق الولايات المتحدة. بعد انتشاره، حدد "Go to resource". انسخ المفتاح ونقطة النهاية إلى موقع مؤقت لاستخدامهما لاحقا.
• مورد Azure Storage - إنشاء مورد
• مجموعة من الصور لتدريب نموذج التصنيف الخاص بك. يمكنك استخدام مجموعة من نماذج الصور على GitHub. أو يمكنك استخدام صورك الخاصة. تحتاج فقط إلى حوالي 3-5 صور لكل فئة.

إشعار

لا نوصي باستخدام نماذج مخصصة للبيئات الحرجة للأعمال بسبب زمن الانتقال العالي المحتمل. عندما يقوم العملاء بتدريب نماذج مخصصة في Vision Studio، تنتمي هذه النماذج المخصصة إلى مورد Vision الذي تم تدريبهم ضمنه، ويمكن للعميل إجراء مكالمات إلى تلك النماذج باستخدام واجهة برمجة تطبيقات Analyze Image . عند إجراء هذه الاستدعاءات، يتم تحميل النموذج المخصص في الذاكرة وتهيئة البنية الأساسية للتنبؤ. في حين يحدث هذا، قد يواجه العملاء زمن انتقال أطول من المتوقع لتلقي نتائج التنبؤ.

Vision Studio

إنشاء نموذج مخصص جديد

ابدأ بالانتقال إلى Vision Studio وتحديد علامة التبويب تحليل الصور. ثم حدد لوحة تخصيص النماذج .

ثم قم بتسجيل الدخول باستخدام حساب Azure الخاص بك وحدد مورد الرؤية الخاص بك. إذا لم يكن لديك واحد، يمكنك إنشاء واحد من هذه الشاشة.

هام

لتدريب نموذج مخصص في Vision Studio، يجب الموافقة على اشتراك Azure للوصول. الرجاء طلب الوصول باستخدام هذا النموذج.

إعداد صور التدريب

تحتاج إلى تحميل صور التدريب الخاصة بك إلى حاوية Azure Blob Storage. انتقل إلى مورد التخزين في مدخل Microsoft Azure وانتقل إلى علامة تبويب مستعرض التخزين. هنا يمكنك إنشاء حاوية كائن ثنائي كبير الحجم وتحميل الصور الخاصة بك. ضعهم جميعا في جذر الحاوية.

إضافة مجموعة بيانات

لتدريب نموذج مخصص، تحتاج إلى إقرانه مع مجموعة بيانات حيث تقوم بتوفير الصور ومعلومات التسمية الخاصة بها كبيانات تدريب. في Vision Studio، حدد علامة التبويب Datasets لعرض مجموعات البيانات الخاصة بك.

لإنشاء مجموعة بيانات جديدة، حدد إضافة مجموعة بيانات جديدة. في النافذة المنبثقة، أدخل اسما وحدد نوع مجموعة بيانات لحالة الاستخدام الخاصة بك. تطبق نماذج تصنيف الصور تسميات المحتوى على الصورة بأكملها، بينما تطبق نماذج الكشف عن الكائنات تسميات العناصر على مواقع محددة في الصورة. نماذج التعرف على المنتجات هي فئة فرعية من نماذج الكشف عن الكائنات التي تم تحسينها للكشف عن منتجات البيع بالتجزئة.

ثم حدد الحاوية من حساب Azure Blob Storage حيث قمت بتخزين صور التدريب. حدد المربع للسماح ل Vision Studio بالقراءة والكتابة إلى حاوية تخزين الكائن الثنائي كبير الحجم. هذه خطوة ضرورية لاستيراد البيانات المسماة. إنشاء مجموعة البيانات.

إنشاء مشروع تسمية التعلم الآلي Azure

تحتاج إلى ملف COCO لنقل معلومات التسمية. إحدى الطرق السهلة لإنشاء ملف COCO هي إنشاء مشروع Azure التعلم الآلي، والذي يأتي مع سير عمل تسمية البيانات.

في صفحة تفاصيل مجموعة البيانات، حدد إضافة مشروع تسمية بيانات جديد. قم بتسمية ذلك وحدد إنشاء مساحة عمل جديدة. يؤدي ذلك إلى فتح علامة تبويب مدخل Azure جديدة حيث يمكنك إنشاء مشروع Azure التعلم الآلي.

بمجرد إنشاء مشروع Azure التعلم الآلي، ارجع إلى علامة التبويب Vision Studio وحدده ضمن مساحة العمل. سيتم بعد ذلك فتح مدخل Azure التعلم الآلي في علامة تبويب مستعرض جديدة.

Azure التعلم الآلي: إنشاء تسميات

لبدء وضع العلامات، اتبع المطالبة الرجاء إضافة فئات التسميات لإضافة فئات التسميات.

بمجرد إضافة جميع تسميات الفئات، احفظها، وحدد البدء في المشروع، ثم حدد بيانات التسمية في الأعلى.

Azure التعلم الآلي: تسمية بيانات التدريب يدويا

اختر بدء التسمية واتبع المطالبات لتسمية جميع الصور. عند الانتهاء، ارجع إلى علامة التبويب Vision Studio في متصفحك.

الآن حدد Add COCO file، ثم حدد Import COCO file from an Azure ML Data Labeling project. يؤدي ذلك إلى استيراد البيانات المسماة من Azure التعلم الآلي.

يتم الآن تخزين ملف COCO الذي أنشأته للتو في حاوية Azure Storage التي قمت بربطها بهذا المشروع. يمكنك الآن استيراده إلى سير عمل تخصيص النموذج. حددها من القائمة المنسدلة. بمجرد استيراد ملف COCO إلى مجموعة البيانات، يمكن استخدام مجموعة البيانات لتدريب نموذج.

إشعار

استيراد ملفات COCO من مكان آخر

إذا كان لديك ملف COCO جاهز تريد استيراده، فانتقل إلى علامة التبويب Datasets وحدد Add COCO files to this dataset. يمكنك اختيار إضافة ملف COCO معين من حساب تخزين Blob أو الاستيراد من مشروع تسمية Azure التعلم الآلي.

حاليا، تعالج Microsoft مشكلة تتسبب في فشل استيراد ملف COCO مع مجموعات البيانات الكبيرة عند البدء في Vision Studio. للتدريب على استخدام مجموعة بيانات كبيرة، يوصى باستخدام واجهة برمجة تطبيقات REST بدلا من ذلك.

حول ملفات COCO

ملفات COCO هي ملفات JSON مع حقول مطلوبة محددة: "images"و "annotations"و."categories" سيبدو نموذج ملف COCO كما يلي:

{
 "images": [
   {
     "id": 1,
     "width": 500,
     "height": 828,
     "file_name": "0.jpg",
     "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/0.jpg"
   },
    {
      "id": 2,
      "width": 754,
      "height": 832,
      "file_name": "1.jpg",
      "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/1.jpg"
    },

   ...

  ],
  "annotations": [
    {
      "id": 1,
      "category_id": 7,
      "image_id": 1,
      "area": 0.407,
      "bbox": [
        0.02663142641129032,
        0.40691584277841153,
        0.9524163571731749,
        0.42766634515266866
      ]
    },
    {
      "id": 2,
      "category_id": 9,
      "image_id": 2,
      "area": 0.27,
      "bbox": [
        0.11803319477782331,
        0.41586723392402375,
        0.7765206955096307,
        0.3483334397217212
      ]
    },
    ...

  ],
  "categories": [
    {
      "id": 1,
      "name": "vegall original mixed vegetables"
    },
    {
      "id": 2,
      "name": "Amy's organic soups lentil vegetable"
    },
    {
      "id": 3,
      "name": "Arrowhead 8oz"
    },

    ...

  ]
}

مرجع حقل ملف COCO

إذا كنت تقوم بإنشاء ملف COCO الخاص بك من البداية، فتأكد من تعبئة جميع الحقول المطلوبة بالتفاصيل الصحيحة. تصف الجداول التالية كل حقل في ملف COCO:

"الصور"

المفتاح	النوع	‏‏الوصف	مطلوب؟
id	integer	معرف الصورة الفريد، بدءا من 1	‏‏نعم‬
width	integer	عرض الصورة بالبكسل	‏‏نعم‬
height	integer	ارتفاع الصورة بالبكسل	‏‏نعم‬
file_name	سلسلة	اسم فريد للصورة	‏‏نعم‬
absolute_url أو coco_url	سلسلة	مسار الصورة ك URI مطلق إلى كائن ثنائي كبير الحجم في حاوية كائن ثنائي كبير الحجم. يجب أن يكون لدى مورد Vision إذن لقراءة ملفات التعليقات التوضيحية وجميع ملفات الصور المشار إليها.	‏‏نعم‬

يمكن العثور على absolute_url قيمة في خصائص حاوية الكائن الثنائي كبير الحجم:

"التعليقات التوضيحية"

المفتاح	النوع	‏‏الوصف	مطلوب؟
id	integer	معرف التعليق التوضيحي	‏‏نعم‬
category_id	integer	معرف الفئة المحددة في categories القسم	‏‏نعم‬
image_id	integer	معرف الصورة	‏‏نعم‬
area	integer	قيمة 'Width' x 'Height' (القيم الثالثة والرابحة من bbox)	لا
bbox	list[float]	الإحداثيات النسبية لمربع الإحاطة (من 0 إلى 1)، بالترتيب "إلى اليسار" و"الأعلى" و"العرض" و"الارتفاع"	‏‏نعم‬

"الفئات"

المفتاح	النوع	‏‏الوصف	مطلوب؟
id	integer	معرف فريد لكل فئة (فئة التسمية). وينبغي أن تكون هذه موجودة في annotations القسم .	‏‏نعم‬
name	سلسلة	اسم الفئة (فئة التسمية)	‏‏نعم‬

التحقق من ملف COCO

يمكنك استخدام نموذج التعليمات البرمجية ل Python للتحقق من تنسيق ملف COCO.

تدريب النموذج المخصص

لبدء تدريب نموذج باستخدام ملف COCO الخاص بك، انتقل إلى علامة التبويب Custom models وحدد Add a new model. أدخل اسما للنموذج وحدد Image classification أو Object detection كنوع النموذج.

حدد مجموعة البيانات الخاصة بك، المقترنة الآن بملف COCO الذي يحتوي على معلومات التسمية.

ثم حدد ميزانية زمنية وقم بتدريب النموذج. للحصول على أمثلة صغيرة، يمكنك استخدام 1 hour ميزانية.

قد يستغرق إكمال التدريب بعض الوقت. يمكن أن تكون نماذج Image Analysis 4.0 دقيقة مع مجموعة صغيرة فقط من بيانات التدريب، ولكنها تستغرق وقتا أطول للتدريب من النماذج السابقة.

تقييم النموذج المدرب

بعد اكتمال التدريب، يمكنك عرض تقييم أداء النموذج. يتم استخدام المقاييس التالية:

• تصنيف الصور: متوسط الدقة، الدقة الأعلى 1، الدقة الأعلى 5
• الكشف عن الكائنات: متوسط متوسط الدقة @ 30، متوسط متوسط الدقة @ 50، متوسط متوسط الدقة @ 75

إذا لم يتم توفير مجموعة تقييم عند تدريب النموذج، يتم تقدير الأداء المبلغ عنه استنادا إلى جزء من مجموعة التدريب. نوصي بشدة باستخدام مجموعة بيانات تقييم (باستخدام نفس العملية المذكورة أعلاه) للحصول على تقدير موثوق لأداء النموذج الخاص بك.

اختبار نموذج مخصص في Vision Studio

بمجرد إنشاء نموذج مخصص، يمكنك الاختبار عن طريق تحديد الزر Try it out على شاشة تقييم النموذج.

ينقلك هذا إلى صفحة استخراج العلامات الشائعة من الصور . اختر النموذج المخصص من القائمة المنسدلة وقم بتحميل صورة اختبار.

تظهر نتائج التنبؤ في العمود الأيسر.

واجهة برمجة التطبيقات REST

إعداد بيانات التدريب

أول شيء عليك القيام به هو إنشاء ملف COCO من بيانات التدريب الخاصة بك. يمكنك إنشاء ملف COCO عن طريق تحويل مشروع Custom Vision قديم باستخدام البرنامج النصي للترحيل. أو يمكنك إنشاء ملف COCO من البداية باستخدام أداة تسمية أخرى. راجع المواصفات التالية:

حول ملفات COCO

ملفات COCO هي ملفات JSON مع حقول مطلوبة محددة: "images"و "annotations"و."categories" سيبدو نموذج ملف COCO كما يلي:

{
 "images": [
   {
     "id": 1,
     "width": 500,
     "height": 828,
     "file_name": "0.jpg",
     "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/0.jpg"
   },
    {
      "id": 2,
      "width": 754,
      "height": 832,
      "file_name": "1.jpg",
      "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/1.jpg"
    },

   ...

  ],
  "annotations": [
    {
      "id": 1,
      "category_id": 7,
      "image_id": 1,
      "area": 0.407,
      "bbox": [
        0.02663142641129032,
        0.40691584277841153,
        0.9524163571731749,
        0.42766634515266866
      ]
    },
    {
      "id": 2,
      "category_id": 9,
      "image_id": 2,
      "area": 0.27,
      "bbox": [
        0.11803319477782331,
        0.41586723392402375,
        0.7765206955096307,
        0.3483334397217212
      ]
    },
    ...

  ],
  "categories": [
    {
      "id": 1,
      "name": "vegall original mixed vegetables"
    },
    {
      "id": 2,
      "name": "Amy's organic soups lentil vegetable"
    },
    {
      "id": 3,
      "name": "Arrowhead 8oz"
    },

    ...

  ]
}

مرجع حقل ملف COCO

إذا كنت تقوم بإنشاء ملف COCO الخاص بك من البداية، فتأكد من تعبئة جميع الحقول المطلوبة بالتفاصيل الصحيحة. تصف الجداول التالية كل حقل في ملف COCO:

"الصور"

المفتاح	النوع	‏‏الوصف	مطلوب؟
id	integer	معرف الصورة الفريد، بدءا من 1	‏‏نعم‬
width	integer	عرض الصورة بالبكسل	‏‏نعم‬
height	integer	ارتفاع الصورة بالبكسل	‏‏نعم‬
file_name	سلسلة	اسم فريد للصورة	‏‏نعم‬
absolute_url أو coco_url	سلسلة	مسار الصورة ك URI مطلق إلى كائن ثنائي كبير الحجم في حاوية كائن ثنائي كبير الحجم. يجب أن يكون لدى مورد Vision إذن لقراءة ملفات التعليقات التوضيحية وجميع ملفات الصور المشار إليها.	‏‏نعم‬

يمكن العثور على absolute_url قيمة في خصائص حاوية الكائن الثنائي كبير الحجم:

"التعليقات التوضيحية"

المفتاح	النوع	‏‏الوصف	مطلوب؟
id	integer	معرف التعليق التوضيحي	‏‏نعم‬
category_id	integer	معرف الفئة المحددة في categories القسم	‏‏نعم‬
image_id	integer	معرف الصورة	‏‏نعم‬
area	integer	قيمة 'Width' x 'Height' (القيم الثالثة والرابحة من bbox)	لا
bbox	list[float]	الإحداثيات النسبية لمربع الإحاطة (من 0 إلى 1)، بالترتيب "إلى اليسار" و"الأعلى" و"العرض" و"الارتفاع"	‏‏نعم‬

"الفئات"

المفتاح	النوع	‏‏الوصف	مطلوب؟
id	integer	معرف فريد لكل فئة (فئة التسمية). وينبغي أن تكون هذه موجودة في annotations القسم .	‏‏نعم‬
name	سلسلة	اسم الفئة (فئة التسمية)	‏‏نعم‬

التحقق من ملف COCO

يمكنك استخدام نموذج التعليمات البرمجية ل Python للتحقق من تنسيق ملف COCO.

تحميل إلى التخزين

قم بتحميل ملف COCO الخاص بك إلى حاوية تخزين كائن ثنائي كبير الحجم، ومن الناحية المثالية نفس حاوية الكائن الثنائي كبير الحجم التي تحتوي على صور التدريب نفسها.

إنشاء مجموعة بيانات التدريب الخاصة بك

datasets/<dataset-name> تتيح لك واجهة برمجة التطبيقات إنشاء كائن مجموعة بيانات جديد يشير إلى بيانات التدريب. قم بإجراء التغييرات التالية على الأمر cURL أدناه:

1. استبدل <endpoint> بنقطة نهاية Azure الذكاء الاصطناعي Vision.
2. استبدل <dataset-name> باسم مجموعة البيانات الخاصة بك.
3. استبدل <subscription-key> بمفتاح Azure الذكاء الاصطناعي Vision.
4. في نص الطلب، قم بتعيين "annotationKind" إلى أو "imageClassification""imageObjectDetection"، اعتمادا على مشروعك.
5. في نص الطلب، قم بتعيين "annotationFileUris" الصفيف إلى صفيف من السلسلة (السلاسل) التي تعرض موقع (مواقع) URI لملف (ملفات) COCO في تخزين كائن ثنائي كبير الحجم.

curl.exe -v -X PUT "<endpoint>/computervision/datasets/<dataset-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'annotationKind':'imageClassification',
'annotationFileUris':['<URI>']
}"

إنشاء نموذج وتدريبه

models/<model-name> تتيح لك واجهة برمجة التطبيقات إنشاء نموذج مخصص جديد وربطه مع مجموعة بيانات موجودة. كما يبدأ عملية التدريب. قم بإجراء التغييرات التالية على الأمر cURL أدناه:

1. استبدل <endpoint> بنقطة نهاية Azure الذكاء الاصطناعي Vision.
2. استبدل <model-name> باسم النموذج الخاص بك.
3. استبدل <subscription-key> بمفتاح Azure الذكاء الاصطناعي Vision.
4. في نص الطلب، قم بتعيين "trainingDatasetName" إلى اسم مجموعة البيانات من الخطوة السابقة.
5. في نص الطلب، قم بتعيين "modelKind" إلى أو "Generic-Classifier""Generic-Detector"، اعتمادا على مشروعك.

curl.exe -v -X PUT "<endpoint>/computervision/models/<model-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'trainingParameters': {
    'trainingDatasetName':'<dataset-name>',
    'timeBudgetInHours':1,
    'modelKind':'Generic-Classifier',
    }
}"

تقييم أداء النموذج على مجموعة بيانات

models/<model-name>/evaluations/<eval-name> تقيم واجهة برمجة التطبيقات أداء نموذج موجود. قم بإجراء التغييرات التالية على الأمر cURL أدناه:

1. استبدل <endpoint> بنقطة نهاية Azure الذكاء الاصطناعي Vision.
2. استبدل <model-name> باسم النموذج الخاص بك.
3. استبدل <eval-name> باسم يمكن استخدامه لتعريف التقييم بشكل فريد.
4. استبدل <subscription-key> بمفتاح Azure الذكاء الاصطناعي Vision.
5. في نص الطلب، قم بتعيين "testDatasetName" إلى اسم مجموعة البيانات التي تريد استخدامها للتقييم. إذا لم يكن لديك مجموعة بيانات مخصصة، يمكنك استخدام نفس مجموعة البيانات التي استخدمتها للتدريب.

curl.exe -v -X PUT "<endpoint>/computervision/models/<model-name>/evaluations/<eval-name>?api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{
'evaluationParameters':{
    'testDatasetName':'<dataset-name>'
    },
}"

يقوم استدعاء API بإرجاع كائن ModelPerformance JSON، والذي يسرد درجات النموذج في عدة فئات. يتم استخدام المقاييس التالية:

• تصنيف الصور: متوسط الدقة، الدقة الأعلى 1، الدقة الأعلى 5
• الكشف عن الكائنات: متوسط متوسط الدقة @ 30، متوسط متوسط الدقة @ 50، متوسط متوسط الدقة @ 75

اختبار النموذج المخصص على صورة

تقوم imageanalysis:analyze واجهة برمجة التطبيقات بعمليات تحليل الصور العادية. بتحديد بعض المعلمات، يمكنك استخدام واجهة برمجة التطبيقات هذه للاستعلام عن النموذج المخصص الخاص بك بدلا من نماذج تحليل الصور التي تم إنشاؤها مسبقا. قم بإجراء التغييرات التالية على الأمر cURL أدناه:

1. استبدل <endpoint> بنقطة نهاية Azure الذكاء الاصطناعي Vision.
2. استبدل <model-name> باسم النموذج الخاص بك.
3. استبدل <subscription-key> بمفتاح Azure الذكاء الاصطناعي Vision.
4. في نص الطلب، قم بتعيين "url" إلى عنوان URL لصورة بعيدة تريد اختبار النموذج عليها.

curl.exe -v -X POST "<endpoint>/computervision/imageanalysis:analyze?model-name=<model-name>&api-version=2023-02-01-preview" -H "Content-Type: application/json" -H "Ocp-Apim-Subscription-Key: <subscription-key>" --data-ascii "
{'url':'https://learn.microsoft.com/azure/ai-services/computer-vision/media/quickstarts/presentation.png'
}"

يقوم استدعاء API بإرجاع كائن ImageAnalysisResult JSON، والذي يحتوي على جميع العلامات المكتشفة لمصنف صورة، أو كائنات للكشف عن كائن، مع درجات الثقة الخاصة بها.

{
  "kind": "imageAnalysisResult",
  "metadata": {
    "height": 900,
    "width": 1260
  },
  "customModelResult": {
    "classifications": [
      {
        "confidence": 0.97970027,
        "label": "hemlock"
      },
      {
        "confidence": 0.020299695,
        "label": "japanese-cherry"
      }
    ],
    "objects": [],
    "imageMetadata": {
      "width": 1260,
      "height": 900
    }
  }
}

الخطوات التالية

في هذا الدليل، قمت بإنشاء نموذج تصنيف صور مخصص وتدريبه باستخدام تحليل الصور. بعد ذلك، تعرف على المزيد حول واجهة برمجة تطبيقات Analyze Image 4.0، حتى تتمكن من استدعاء نموذجك المخصص من تطبيق باستخدام REST أو حزم SDK للمكتبة.

• راجع دليل مفاهيم تخصيص النموذج للحصول على نظرة عامة واسعة حول هذه الميزة وقائمة بالأسئلة المتداولة.
• استدعاء واجهة برمجة تطبيقات تحليل الصور.