إنشاء نماذج مخصصة
ينطبق هذا المحتوى على:
v3.1 (GA) | أحدث إصدار:
v4.0 (معاينة) | الإصدارات السابقة:
v3.0v2.1
ينطبق هذا المحتوى على:v3.0 (GA) | أحدث الإصدارات:v4.0 (معاينة)v3.1 | الإصدار السابق:v2.1
ينطبق هذا المحتوى على:v2.1 | أحدث إصدار:v4.0 (معاينة)
يُنشأ النموذج المُركب بأخذ مجموعة من النماذج المخصصة وتعيينها إلى معرف نموذج واحد. يمكنك تعيين ما يصل إلى 200 نموذج مخصص مدرب لمعرف نموذج واحد مكون. عند إرسال مستند إلى نموذج مكون، تقوم الخدمة بتنفيذ خطوة تصنيف لتحديد النموذج المخصص الذي يمثل بدقة النموذج المقدم للتحليل. تكون نماذج الإنشاء مفيدة عندما تقوم بتدريب العديد من النماذج وتريد تجميعها لتحليل أنواع النماذج المماثلة. على سبيل المثال، قد يتضمن النموذج المكون نماذج مخصصة مدربة لتحليل أوامر شراء الإمدادات والمعدات والأثاث. بدلاً من محاولة تحديد النموذج المناسب يدويًا، يمكنك استخدام نموذج مكون لتحديد النموذج المخصص المناسب لكل تحليل واستخراج.
لمعرفة المزيد، راجع النماذج المخصصة المركبة.
في هذه المقالة، ستتعلم كيفية إنشاء نماذج مخصصة مكونة واستخدامها لتحليل النماذج والمستندات.
المتطلبات الأساسية
للبدء، تحتاج إلى الموارد التالية:
اشتراك Azure. يمكنك إنشاء اشتراك Azure مجاني.
مثيل تحليل معلومات المستند. بمجرد حصولك على اشتراك Azure، قم بإنشاء مورد Document Intelligence في مدخل Microsoft Azure للحصول على المفتاح ونقطة النهاية. إذا كان لديك مورد Document Intelligence موجود، فانتقل مباشرة إلى صفحة المورد. يمكنك استخدام مستوى التسعير الحر (F0) لتجربة الخدمة، والترقية لاحقًا إلى مستوى مدفوع للإنتاج.
بعد نشر المورد، حدد Go to resource.
انسخ قيم المفاتيح ونقطة النهاية من المورد لذي أنشأته والصقها في مكان مناسب، مثل مفكرة Microsoft. تحتاج إلى قيم المفتاح ونقطة النهاية لتوصيل التطبيق الخاص بك بواجهة برمجة تطبيقات Document Intelligence.
تلميح
لمزيد من المعلومات، راجع إنشاء مورد Document Intelligence.
حساب تخزين Azure. إذا كنت لا تعرف كيفية إنشاء حساب تخزين Azure مع حاوية، اتبع التشغيل السريع لـ Azure Storage لمدخل Azure. يمكنك استخدام مستوى التسعير الحر (F0) لتجربة الخدمة، والترقية لاحقًا إلى مستوى مدفوع للإنتاج.
إنشاء نماذجك المخصصة
أولا، تحتاج إلى مجموعة من النماذج المخصصة للتكوين. يمكنك استخدام Document Intelligence Studio أو REST API أو حزم SDK لمكتبة العميل. الخطوات هي على الشكل التالي:
تجميع مجموعة بيانات التدريب
يبدأ إنشاء نموذج مخصص بإنشاء مجموعة بيانات التدريب. تحتاج إلى خمسة نماذج مكتملة كحد أدنى من نفس النوع لعينة مجموعة البيانات الخاصة بك. تتنوع الملفات الموجودة مثل (jpg وpng وpdf وtiff) وتحتوي على نص وكتابة باليد. يجب أن تتبع النماذج متطلبات الإدخال الخاصة ب Document Intelligence.
تلميح
اتبع هذه التلميحات لتحسين مجموعة البيانات الخاصة بك للتدريب:
- استخدم مستندات PDF المستندة إلى نص بدلاً من المستندات المستندة إلى الصورة، إن أمكن. تتم معالجة مستندات PDFs الممسوحة ضوئيًا كصور.
- بالنسبة للنماذج التي تمت تعبئتها، استخدم الأمثلة التي حيث تمت تعبئة جميع الحقول.
- استخدام نماذج ذات قيم مختلفة في كل حقل.
- إذا كانت صور النموذج ذات جودة أقل، فاستخدم مجموعة كبيرة من البيانات (10-15 صورة، على سبيل المثال).
يُرجى الرجوع إلى "إنشاء مجموعة بيانات التدريب" للحصول على نصائح حول كيفية تجميع مستندات التدريب.
تحميل مجموعة بيانات التدريب
عند جمع مجموعة من مستندات التدريب، تحتاج إلى تحميل بيانات التدريب الخاصة بك إلى حاوية تخزين Azure blob.
إذا كنت تريد استخدام البيانات المسماة يدويا، يجب عليك تحميل ملفات .labels.json .ocr.json التي تتوافق مع مستندات التدريب الخاصة بك.
تدريب النموذج المخصص
عند تدريب نموذجك باستخدام البيانات المسماة، يستخدم النموذج التعلم الخاضع للإشراف لاستخراج القيم ذات الأهمية، باستخدام النماذج المسماة التي تقدمها. ينتج عن البيانات المسماة نماذج ذات أداء أفضل ويمكن أن تنتج نماذج تعمل مع نماذج معقدة أو نماذج تحتوي على قيم بدون مفاتيح.
يستخدم Document Intelligence واجهة برمجة تطبيقات نموذج التخطيط الذي تم إنشاؤه مسبقا لمعرفة الأحجام والمواضع المتوقعة لعناصر النص المكتوبة بخط اليد والمحرف واستخراج الجداول. ثم يستخدم التسميات المحددة من قبل المستخدم لمعرفة ارتباطات المفتاح / القيمة والجداول في المستندات. نوصي باستخدام خمسة نماذج مسماة يدويًا من نفس النوع (نفس البنية) للبدء عند تدريب نموذج جديد. ثم أضف المزيد من البيانات المسماة حسب الحاجة لتحسين دقة النموذج. يتيح Document Intelligence تدريب نموذج لاستخراج أزواج وجداول قيم المفاتيح باستخدام قدرات التعلم الخاضعة للإشراف.
لإنشاء نماذج مخصصة، ابدأ بتكوين المشروع:
من صفحة Studio الرئيسية، حدد إنشاء جديد من بطاقة النموذج المخصص.
استخدم الأمر ➕ إنشاء مشروع لبدء تشغيل معالج تكوين المشروع الجديد.
أدخل تفاصيل المشروع، وحدد اشتراك Azure ومورده، وحاوية تخزين Azure Blob التي تحتوي على بياناتك.
راجع الإعدادات الخاصة بك وأسلها لإنشاء المشروع.
أثناء إنشاء النماذج المخصصة، قد تحتاج إلى استخراج مجموعات البيانات من المستندات. قد تظهر المجموعات أحد التنسيقين. استخدام الجداول كنمط مرئي:
عدد قيم (الصفوف) الديناميكي أو المتغير لمجموعة معينة من الحقول (أعمدة)
مجموعة محددة من القيم لمجموعة معينة من الحقول (أعمدة و/أو صفوف)
إنشاء نموذج مكون
إشعار
لا تتوفر العملية create compose model إلا للنماذج المخصصة المدربة باستخدام التسميات. ستؤدي محاولة تكوين نماذج غير مسماة إلى حدوث خطأ.
باستخدام عملية إنشاء نموذج تأليف، يمكنك تعيين ما يصل إلى 100 نموذج مخصص مدرب إلى معرف نموذج واحد. عند تحليل المستندات باستخدام نموذج مكون، يقوم Document Intelligence أولا بتصنيف النموذج الذي أرسلته، ثم يختار أفضل نموذج مطابق تم تعيينه، ويرجع نتائج هذا النموذج. تكون هذه العملية مفيدة عندما تنتمي النماذج الواردة إلى أحد القوالب المتعددة.
بمجرد اكتمال عملية التدريب بنجاح، يمكنك البدء في إنشاء النموذج الذي تم إنشاؤه. فيما يلي خطوات إنشاء نماذج إنشاء واستخدامها:
جمع معرفات النموذج
عند تدريب النماذج باستخدام Document Intelligence Studio، يقع معرف النموذج في قائمة النماذج ضمن مشروع:
تكوين النماذج المخصصة
حدد مشروع نماذج مخصصة.
في المشروع، حدد عنصر القائمة
Models.من قائمة النماذج الناتجة، حدد النماذج التي ترغب في إنشاءها.
اختر زر تكوين من الزاوية العلوية اليسرى.
في النافذة المنبثقة، قم بتسمية النموذج المكون حديثًا وحدد تكوين.
عند اكتمال العملية، يظهر النموذج الذي تم إنشاؤه حديثا في القائمة.
بمجرد أن يكون الطراز جاهزًا، استخدم الأمر اختبار Test للتحقق من صحته مع مستندات الاختبار ومراقبة النتائج.
تحليل المستندات
تتطلب عملية تحليل النموذج المخصص توفير modelID في الاستدعاء إلى Document Intelligence. يجب توفير معرف النموذج المكون للمعلمة modelID في التطبيقات الخاصة بك.
إدارة نماذج الإنشاء
يمكنك إدارة نماذجك المخصصة طوال دورة الحياة:
- اختبار المستندات الجديدة والتحقق من صحتها.
- قم بتنزيل النموذج الخاص بك لاستخدامه في تطبيقاتك.
- احذف النموذج الخاص بك عند اكتمال دورة حياته.
رائع! لقد تعلمت الخطوات لإنشاء نماذج مخصصة ومكونة واستخدامها في مشاريع وتطبيقات ذكاء المستند.
الخطوات التالية
جرب إحدى عمليات التشغيل السريع ل Document Intelligence:
يستخدم Document Intelligence تقنية التعلم الآلي المتقدمة للكشف عن المعلومات واستخراجها من صور المستندات وإرجاع البيانات المستخرجة في إخراج JSON منظم. باستخدام Document Intelligence، يمكنك تدريب نماذج مخصصة مستقلة أو دمج نماذج مخصصة لإنشاء نماذج مكونة.
النماذج المخصصة. تمكنك النماذج المخصصة لذكاء المستند من تحليل البيانات واستخراجها من النماذج والمستندات الخاصة بعملك. يتم تدريب النماذج المخصصة على بياناتك المميزة وحالات الاستخدام الخاصة بك.
النماذج المكونة. يتم إنشاء نموذج مكون من خلال أخذ مجموعة من النماذج المخصصة وتعيينها إلى نموذج واحد يشمل أنواع النماذج الخاصة بك. عند إرسال مستند إلى نموذج مكون، تقوم الخدمة بتنفيذ خطوة تصنيف لتحديد النموذج المخصص الذي يمثل بدقة النموذج المقدم للتحليل.
في هذه المقالة، ستتعرف على كيفية إنشاء نماذج مخصصة ومؤلفة لذكاء المستند باستخدام أداة تسمية نموذج ذكاء المستند أو واجهات برمجة تطبيقات REST أو حزم SDK لمكتبة العميل.
أداة وضع العلامات على العينة
جرب استخراج البيانات من النماذج المخصصة باستخدام أداة Sample Labeling. تحتاج إلى الموارد التالية:
اشتراك Azure - يمكنك إنشاء اشتراك مجانًا.
مثيل Document Intelligence في مدخل Microsoft Azure. يمكنك استخدام طبقة التسعير المجانية
F0() لتجربة الخدمة. بعد نشر المورد، حدد انتقال إلى المورد للحصول على المفتاح ونقطة النهاية.
في واجهة مستخدم تحليل معلومات المستند:
حدد استخدام مخصص لتدريب نموذج باستخدام التسميات والحصول على أزواج المفاتيح والقيم.
في النافذة التالية، حدد مشروع جديد:
إنشاء النماذج
فيما يلي خطوات إنشاء النماذج المخصصة والمكوّنة وتدريبها واستخدامها:
- تجميع مجموعة بيانات التدريب
- تحميل مجموعة التدريب إلى تخزين Azure blob
- تدريب النموذج المخصص
- إنشاء نماذج مخصصة
- تحليل المستندات
- إدارة النماذج المخصصة
تجميع مجموعة بيانات التدريب
يبدأ إنشاء نموذج مخصص بإنشاء مجموعة بيانات التدريب. تحتاج إلى خمسة نماذج مكتملة كحد أدنى من نفس النوع لعينة مجموعة البيانات الخاصة بك. تتنوع الملفات الموجودة مثل (jpg وpng وpdf وtiff) وتحتوي على نص وكتابة باليد. يجب أن تتبع النماذج متطلبات الإدخال الخاصة ب Document Intelligence.
تحميل مجموعة بيانات التدريب
تحتاج إلى تحميل بيانات التدريب الخاصة بك إلى حاوية تخزين Azure blob. إذا كنت لا تعرف كيفية إنشاء حساب تخزين Azure باستخدام حاوية، فراجعالتشغيل السريع لـ Azure Storage لمدخل Microsoft Azure. يمكنك استخدام مستوى التسعير الحر (F0) لتجربة الخدمة، والترقية لاحقًا إلى مستوى مدفوع للإنتاج.
تدريب النموذج المخصص
يمكنك تدريب النموذج باستخدام مجموعات البيانات المسماة. تعتمد مجموعات البيانات المسماة على واجهة برمجة التطبيقات ذات التخطيط المُعد مسبقًا، ولكن يتم تضمين الإدخال البشري التكميلي مثل التسميات والمواقع الميدانية المحددة. ابدأ بخمسة نماذج مكتملة على الأقل من النوع نفسه لبيانات التدريب المسماة.
عند التدريب باستخدام البيانات المسماة، يستخدم النموذج التعلم الخاضع للإشراف لاستخراج القيم ذات الأهمية، باستخدام النماذج المسماة التي تقدمها. ينتج عن البيانات المسماة نماذج ذات أداء أفضل ويمكن أن تنتج نماذج تعمل مع نماذج معقدة أو نماذج تحتوي على قيم بدون مفاتيح.
يستخدم تحليل معلومات المستند واجهة برمجة تطبيقات التخطيط لمعرفة الأحجام والمواضع المتوقعة لعناصر النص المكتوبة بخط اليد والمحرف واستخراج الجداول. ثم يستخدم التسميات المحددة من قبل المستخدم لمعرفة ارتباطات المفتاح / القيمة والجداول في المستندات. نوصي باستخدام خمسة نماذج مسماة يدويًا من النوع نفسه (البنية نفسها) للبدء عند تدريب نموذج جديد وإضافة المزيد من البيانات المسماة حسب الحاجة لتحسين دقة النموذج. يتيح Document Intelligence تدريب نموذج لاستخراج أزواج القيمة الرئيسية والجداول باستخدام قدرات التعلم الخاضعة للإشراف.
بدء "التدريب باستخدام المسميات"
[! فيديو https://learn.microsoft.com/Shows/Docs-Azure/Azure-Form-Recognizer/player]
إنشاء نموذج مكون
إشعار
لا تتوفر Model Compose إلا للنماذج المخصصة المدربة باستخدام التسميات. ستؤدي محاولة تكوين نماذج غير مسماة إلى حدوث خطأ.
باستخدام عملية إنشاء النموذج، يمكنك تعيين ما يصل إلى 200 نموذج مخصص مدرب إلى معرف نموذج واحد. عند استدعاء تحليل باستخدام معرف النموذج الذي تم إنشاؤه، يصنف Document Intelligence النموذج الذي أرسلته أولا، ويختار أفضل نموذج تم تعيينه للمطابقة، ثم يرجع نتائج هذا النموذج. تكون هذه العملية مفيدة عندما تنتمي النماذج الواردة إلى أحد القوالب المتعددة.
باستخدام أداة تسمية نموذج تحليل معلومات المستند أو واجهة برمجة تطبيقات REST أو حزم SDK لمكتبة العميل، اتبع الخطوات لإعداد نموذج مكون:
جمع معرّفات النماذج المخصصة
بمجرد اكتمال عملية التدريب بنجاح، يتم تعيين معرف نموذج للنموذج الخاص بك. يمكنك استرداد معرف النموذج كما يلي:
عند تدريب النماذج باستخدام أداة تسمية نموذج تحليل معلومات المستند، يقع معرف النموذج في نافذة Train Result:
تكوين النماذج المخصصة
بعد جمع النماذج المخصصة المقابلة لنوع نموذج واحد، يمكنك تكوينها في نموذج واحد.
تمكنك أداة Sample Labeling من البدء في تدريب النماذج بسرعة وتكوينها لمعرف نموذج واحد.
بعد الانتهاء من التدريب، قم بتكوين النماذج على النحو التالي:
في قائمة شريط الأدوات الأيسر، حدد أيقونة Model Compose (سهم دمج).
في النافذة الرئيسية، حدد النماذج التي ترغب في تعيينها إلى معرف نموذج واحد. النماذج التي تحمل أيقونة الأسهم هي بالفعل نماذج مكونة.
اختر زر تكوين من الزاوية العلوية اليسرى.
في النافذة المنبثقة، قم بتسمية النموذج المكون حديثًا وحدد تكوين.
عند اكتمال العملية، يظهر النموذج الذي تم إنشاؤه حديثا في القائمة.
تحليل المستندات باستخدام النموذج المخصص أو المكون
تتطلب عملية تحليل النموذج المخصص توفير modelID في الاستدعاء إلى Document Intelligence. يمكنك توفير معرف نموذج مخصص واحد أو معرف نموذج مكون للمعلمة modelID.
في قائمة الجزء الأيسر من الأداة، حدد أيقونة تحليل (المصباح الكهربائي).
اختر ملفًا محليًا أو عنوان URL للصورة لتحليلها.
حدد الزر تشغيل التحليل.
تطبق الأداة العلامات في مربعات الإحاطة وتبلغ عن النسبة المئوية للثقة لكل علامة.
اختبر النماذج المدربة حديثًا عن طريق تحليل النماذج التي لم تكن جزءًا من مجموعة بيانات التدريب. اعتمادًا على الدقة المبلغ عنها، قد ترغب في إجراء مزيد من التدريب لتحسين النموذج. يمكنك مواصلة التدريب من أجل تحسين النتائج.
إدارة النماذج المخصصة الخاصة بك
يمكنك إدارة النماذج المخصصة طوال دورة حياتها من خلال عرض قائمة بجميع النماذج المخصصة ضمن اشتراكك، واسترداد معلومات حول نموذج مخصص معين، وحذف النماذج المخصصة من حسابك.
رائع! لقد تعلمت الخطوات لإنشاء نماذج مخصصة ومكونة واستخدامها في مشاريع وتطبيقات ذكاء المستند.
الخطوات التالية
تعرف على المزيد حول مكتبة عميل Document Intelligence من خلال استكشاف الوثائق المرجعية لواجهة برمجة التطبيقات.