الأنماط في تطبيقات LUIS

مقالة
04/27/2022
قراءة خلال 12 دقائق

تم تصميم الأنماط لتحسين الدقة عندما تكون الألفاظ المتعددة متشابهة جدا. يسمح لك النمط باكتساب المزيد من الدقة للنية دون تقديم العديد من الألفاظ الأخرى.

الأنماط تحل انخفاض الثقة في النية

فكر في تطبيق الموارد البشرية الذي يقدم تقارير عن المخطط التنظيمي فيما يتعلق بالموظف. بالنظر إلى اسم الموظف وعلاقته ، يقوم LUIS بإعادة الموظفين المعنيين. فكر في موظف ، توم ، مع مدير يدعى أليس ، وفريق من المرؤوسين اسمهم: مايكل ، ريبيكا ، وكارل.

التعبيرات	الهدف المتوقع	درجة النية
روبوت Who هو مرؤوس توم؟	GetOrgChart	0.30
روبوت Who هو تابع توم؟	GetOrgChart	0.30

إذا كان التطبيق يحتوي على ما بين 10 و 20 ألفاظا بأطوال مختلفة من الجملة ، وترتيب كلمات مختلف ، وحتى كلمات مختلفة (مرادفات ل "تابع" ، "إدارة" ، "تقرير") ، فقد يعرض LUIS درجة ثقة منخفضة. قم بإنشاء نمط لمساعدة LUIS على فهم أهمية ترتيب الكلمات.

تحل الأنماط المواقف التالية:

درجة النية منخفضة
القصد الصحيح ليس أعلى درجة ولكن قريبة جدا من أعلى درجة.

الأنماط ليست ضمانا للنية

تستخدم الأنماط مزيجا من تقنيات التنبؤ. إن تحديد نية لنطق قالب في نمط ليس ضمانا للتنبؤ بالنية ، ولكنه إشارة قوية.

لا تعمل الأنماط على تحسين اكتشاف كيانات التعلم الآلي

يهدف النمط في المقام الأول إلى المساعدة في التنبؤ بالنوايا والأدوار. يستخدم كيان "pattern.any" لاستخراج الكيانات ذات الشكل الحر. بينما تستخدم الأنماط كيانات، لا يساعد النمط في اكتشاف كيان التعلم الآلي.

لا تتوقع أن ترى توقعات كيانات محسّنة إذا قمت باختزال عدة تصريحات في نمط واحد. لكي يتم استخدام كيانات بسيطة بواسطة تطبيقك، تحتاج إلى إضافة ألفاظ أو استخدام كيانات قائمة.

تستخدم الأنماط أدوار الكيانات

إذا كان كيانان أو أكثر في نمط مرتبطين بالسياق، تستخدم الأنماط أدوار الكيانات لاستخراج المعلومات السياقية حول الكيانات.

درجات التنبؤ مع وبدون أنماط

بالنظر إلى أمثلة كافية من الأقوال ، يمكن أن يكون LUIS قادرا على زيادة ثقة التنبؤ بدون أنماط. تزيد الأنماط من درجة الثقة دون الحاجة إلى تقديم أكبر عدد ممكن من الكلمات.

مطابقة النمط

تتم مطابقة النمط عن طريق اكتشاف الكيانات داخل النمط أولا، ثم التحقق من صحة بقية الكلمات وترتيب الكلمات للنمط. الكيانات مطلوبة في النمط لمطابقة النمط. يتم تطبيق النمط على مستوى الرمز المميز، وليس على مستوى الحرف.

نمط.أي كيان

يسمح لك Pattern.any entity بالعثور على بيانات حرة الشكل حيث تجعل صياغة الكيان تحديد نهاية الكيان من بقية النطق أمراً صعباً.

على سبيل المثال، فكر في تطبيق الموارد البشرية الذي يساعد الموظفين في العثور على مستندات الشركة. قد يحتاج هذا التطبيق إلى فهم الأقوال التالية على سبيل المثال.

"أين HRF-123456؟"
"روبوت Who تأليف HRF-123234؟"
"هل تم نشر HRF-456098 باللغة الفرنسية؟"

ومع ذلك ، يحتوي كل مستند على اسم منسق (مستخدم في القائمة أعلاه) ، واسم قابل للقراءة من قبل الإنسان ، مثل طلب النقل من موظف جديد إلى الإصدار 5 من الشركة لعام 2018.

قد تبدو الألفاظ التي تحمل الاسم الذي يمكن قراءته من قبل الإنسان كما يلي:

"أين يتم طلب الانتقال من موظف جديد إلى الشركة 2018 الإصدار 5؟"
"روبوت Who تأليف "طلب نقل من موظف جديد إلى الشركة 2018 الإصدار 5"؟"
هل طلب الانتقال من موظف جديد إلى الشركة 2018 الإصدار 5 منشور باللغة الفرنسية؟".

تتضمن الأقوال كلمات قد تربك لويس حول المكان الذي ينتهي فيه الكيان. يتيح لك استخدام كيان Pattern.any في نمط تحديد بداية ونهاية اسم المستند، بحيث يقوم LUIS باستخراج اسم النموذج بشكل صحيح. على سبيل المثال، أقوال القالب التالية:

أين {اسم النموذج}[؟]
من هو مُعد {FormName}[؟]
هل يتم نشر {FormName} باللغة الفرنسية[؟]

أفضل الممارسات للأنماط:

قم بإضافة أنماط في التكرارات اللاحقة

يجب أن تفهم كيف يتصرف التطبيق قبل إضافة أنماط لأن الأنماط يتم ترجيحها بشكل أكبر من الألفاظ النموذجية وسوف تشوه الثقة.

بمجرد فهم كيفية تصرف تطبيقك، أضف أنماطا عند تطبيقها على تطبيقك. لا تحتاج إلى إضافتها في كل مرة تقوم فيها بتكرار تصميم التطبيق.

لا يوجد ضرر في إضافتها في بداية تصميم النموذج الخاص بك ، ولكن من الأسهل أن نرى كيف يغير كل نمط النموذج بعد اختبار النموذج بالألفاظ.

لا تضيف العديد من الأنماط

لا تضيف الكثير من الأنماط. يهدف LUIS إلى التعلم بسرعة مع عدد أقل من الأمثلة. لا تفرط في تحميل النظام دون داع.

الميزات

في التعلم الآلي ، الميزة هي سمة مميزة أو سمة مميزة للبيانات التي يلاحظها نظامك ويتعلم من خلالها.

تعطي ميزات التعلم الآلي LUIS إشارات مهمة حول مكان البحث عن الأشياء التي تميز المفهوم. إنها تلميحات يمكن ل LUIS استخدامها ، لكنها ليست قواعد صعبة. يستخدم LUIS هذه التلميحات مع التسميات للعثور على البيانات.

يمكن وصف الميزة بأنها دالة ، مثل f(x) = y. في مثال النطق ، تخبرك الميزة بمكان البحث عن السمة المميزة. استخدم هذه المعلومات للمساعدة في إنشاء المخطط.

أنواع الميزات

الميزات هي جزء ضروري من تصميم المخطط الخاص بك. يدعم LUIS كل من قوائم العبارات والنماذج كميزات:

ميزة قائمة العبارات
نموذج (نية أو كيان) كميزة

البحث عن ميزات في أقوال الأمثلة

نظرا لأن LUIS هو تطبيق يستند إلى اللغة، فإن الميزات تستند إلى النص. اختر النص الذي يشير إلى السمة التي تريد تمييزها. بالنسبة ل LUIS ، فإن أصغر وحدة هي الرمز المميز. بالنسبة للغة الإنجليزية ، فإن الرمز المميز هو امتداد متجاور من الحروف والأرقام التي لا تحتوي على مسافات أو علامات ترقيم.

نظرا لأن المسافات وعلامات الترقيم ليست رموزا، ركز على أدلة النص التي يمكنك استخدامها كميزات. تذكر تضمين أشكال مختلفة من الكلمات، مثل:

صيغ الجمع
أفعال الأزمنة
الاختصارات
الأخطاء الإملائية والإملائية

حدد ما إذا كان النص يحتاج إلى ما يلي لأنه يميز سمة:

مطابقة كلمة أو عبارة بالضبط: فكر في إضافة كيان تعبير عادي أو كيان قائمة كميزة إلى الكيان أو القصد.
مطابقة مفهوم معروف مثل التواريخ أو الأوقات أو أسماء الأشخاص: استخدم كيانا تم إنشاؤه مسبقا كميزة للكيان أو القصد.
تعلم أمثلة جديدة بمرور الوقت: استخدم قائمة عبارات تحتوي على بعض الأمثلة على المفهوم كميزة للكيان أو النية.

إنشاء قائمة عبارات لمفهوم

قائمة العبارات هي قائمة بالكلمات أو العبارات التي تصف مفهوما. يتم تطبيق قائمة عبارات كمطابقة غير حساسة لحالة الأحرف على مستوى الرمز المميز.

عند إضافة قائمة عبارات، يمكنك تعيين الميزة إلى عالمية. تنطبق ميزة عامة على التطبيق بأكمله.

متى تستخدم قائمة عبارات

استخدم قائمة عبارات عندما تحتاج إلى تطبيق LUIS الخاص بك لتعميم وتحديد عناصر جديدة للمفهوم. تشبه قوائم العبارات المفردات الخاصة بالمجال. أنها تعزز نوعية الفهم للنوايا والكيانات.

كيفية استخدام قائمة عبارات

باستخدام قائمة العبارات، يأخذ LUIS في الاعتبار السياق ويعمم لتحديد العناصر التي تشبه النص المطابق تماما ولكنها ليست كذلك. اتبع الخطوات التالية لاستخدام قائمة عبارات:

ابدأ بكيان التعلم الآلي:
أضف أمثلة على الأقوال.
التسمية باستخدام كيان التعلم الآلي.
إضافة قائمة عبارات:
أضف كلمات ذات معنى مماثل. لا تضف كل كلمة أو عبارة ممكنة. بدلا من ذلك، أضف بضع كلمات أو عبارات في وقت واحد. ثم أعد التدريب والنشر.
مراجعة وإضافة الكلمات المقترحة.

سيناريو نموذجي لقائمة عبارات

السيناريو النموذجي لقائمة العبارات هو تعزيز الكلمات المتعلقة بفكرة معينة.

المصطلحات الطبية هي مثال جيد على الكلمات التي قد تحتاج إلى قائمة عبارات لتعزيز أهميتها. يمكن أن يكون لهذه المصطلحات معاني فيزيائية أو كيميائية أو علاجية أو مجردة محددة. لن يعرف LUIS أن المصطلحات مهمة لنطاق الموضوع الخاص بك بدون قائمة عبارات.

على سبيل المثال ، لاستخراج المصطلحات الطبية:

إنشاء أمثلة على الألفاظ وتسمية المصطلحات الطبية داخل تلك الأقوال.
أنشئ قائمة عبارات تحتوي على أمثلة للمصطلحات داخل نطاق الموضوع. يجب أن تتضمن قائمة العبارات هذه المصطلح الفعلي الذي قمت بتصنيفه والمصطلحات الأخرى التي تصف نفس المفهوم.
أضف قائمة العبارات إلى الكيان أو الكيان الفرعي الذي يستخرج المفهوم المستخدم في قائمة العبارات. السيناريو الأكثر شيوعا هو مكون (طفل) لكيان التعلم الآلي. إذا كان يجب تطبيق قائمة العبارات عبر جميع المقاصد أو الكيانات، فضع علامة على قائمة العبارات كقائمة عبارات عمومية . تتحكم العلامة enabledForAllModels في نطاق النموذج هذا في واجهة برمجة التطبيقات.

تطابق الرمز المميز لقائمة عبارات

تنطبق قائمة العبارات دائما على مستوى الرمز المميز. يوضح الجدول التالي كيفية تطبيق قائمة عبارات تحتوي على كلمة Ann على أشكال مختلفة من نفس الأحرف بهذا الترتيب.

اختلاف الرمز المميز ل "Ann"	تطابق قائمة العبارات عند العثور على الرمز المميز
ان ان	نعم - الرمز المميز هو آن
آن	نعم - الرمز المميز هو آن
ان	لا - الرمز المميز هو آن

نموذج كميزة يساعد نموذجا آخر

يمكنك إضافة نموذج (نية أو كيان) كميزة إلى نموذج آخر (نية أو كيان). من خلال إضافة نية أو كيان موجود كميزة، فإنك تضيف مفهوما محددا جيدا قام بتسمية أمثلة.

عند إضافة نموذج كميزة، يمكنك تعيين الميزة على النحو التالي:

مطلوب. يجب العثور على ميزة مطلوبة لإرجاع النموذج من نقطة نهاية التنبؤ.
عالمي. تنطبق ميزة عامة على التطبيق بأكمله.

متى تستخدم كيانا كميزة لنية

أضف كيانا كميزة إلى نية عندما يكون اكتشاف هذا الكيان مهما بالنسبة للنية.

على سبيل المثال، إذا كان القصد هو حجز رحلة، مثل BookFlight، وكان الكيان عبارة عن معلومات التذاكر (مثل عدد المقاعد والمنشأ والوجهة)، فإن العثور على كيان معلومات التذاكر يجب أن يضيف وزنا كبيرا إلى التنبؤ بنية BookFlight.

متى تستخدم كيانا كميزة لكيان آخر

يجب إضافة كيان (A) كميزة إلى كيان آخر (B) عندما يكون اكتشاف هذا الكيان (A) مهما للتنبؤ بالكيان (B).

على سبيل المثال، إذا كان كيان عنوان الشحن موجودا في كيان فرعي لعنوان الشارع، فإن العثور على الكيان الفرعي لعنوان الشارع يضيف وزنا كبيرا إلى التنبؤ بكيان عنوان الشحن.

عنوان الشحن (كيان التعلم الآلي):
- رقم الشارع (كيان فرعي)
- عنوان الشارع (كيان فرعي)
- المدينة (كيان فرعي)
- الولاية أو المقاطعة (كيان فرعي)
- البلد/المنطقة (كيان فرعي)
- الرمز البريدي (الكيان الفرعي)

الكيانات الفرعية المتداخلة مع الميزات

يشير الكيان الفرعي للتعلم الآلي إلى وجود مفهوم للكيان الأصل. يمكن أن يكون الأصل كيانا فرعيا آخر أو الكيان الأعلى. تعمل قيمة الكيان الفرعي كميزة لأصله.

يمكن أن يحتوي الكيان الفرعي على قائمة عبارات ونموذج (كيان آخر) كميزة.

عندما يكون لدى الكيان الفرعي قائمة عبارات ، فإنه يعزز مفردات المفهوم ولكنه لن يضيف أي معلومات إلى استجابة JSON للتنبؤ.

عندما يكون للكيان الفرعي ميزة لكيان آخر، تتضمن استجابة JSON البيانات المستخرجة من هذا الكيان الآخر.

الميزات المطلوبة

يجب العثور على ميزة مطلوبة من أجل إرجاع النموذج من نقطة نهاية التنبؤ. استخدم ميزة مطلوبة عندما تعرف أن بياناتك الواردة يجب أن تتطابق مع الميزة.

إذا كان نص النطق لا يتطابق مع الميزة المطلوبة، فلن يتم استخراجه.

تستخدم الميزة المطلوبة كيانا غير تابع للتعلم الآلي:

كيان التعبير العادي
كيان القائمة
كيان مبني مسبقا

إذا كنت واثقا من أنه سيتم العثور على نموذجك في البيانات ، فقم بتعيين الميزة كما هو مطلوب. لا تعرض الميزة المطلوبة أي شيء إذا لم يتم العثور عليها.

استكمالا لمثال عنوان الشحن:

عنوان الشحن (كيان تعلم آليا)

رقم الشارع (كيان فرعي)
عنوان الشارع (كيان فرعي)
اسم الشارع (كيان فرعي)
المدينة (كيان فرعي)
الولاية أو المقاطعة (كيان فرعي)
البلد/المنطقة (كيان فرعي)
الرمز البريدي (الكيان الفرعي)

الميزة المطلوبة باستخدام كيانات تم إنشاؤها مسبقا

الكيانات المعدة مسبقا مثل المدينة والولاية والبلد / المنطقة هي عموما مجموعة مغلقة من القوائم ، مما يعني أنها لا تتغير كثيرا بمرور الوقت. ويمكن أن يكون لهذه الكيانات الميزات الموصى بها ذات الصلة ويمكن وضع علامة على هذه الميزات على أنها مطلوبة. ومع ذلك، ترتبط العلامة isRequired فقط بالكيان الذي تم تعيينه إليه ولا تؤثر على التسلسل الهرمي. إذا لم يتم العثور على ميزة الكيان الفرعي الذي تم إنشاؤه مسبقا، فلن يؤثر ذلك على اكتشاف الكيان الأصل وإرجاعه.

كمثال على ميزة مطلوبة، ضع في اعتبارك أنك تريد اكتشاف العناوين. قد تفكر في جعل رقم الشارع مطلبا. سيسمح ذلك للمستخدم بإدخال "1 Microsoft Way" أو "One Microsoft Way" ، وسيتم حل كلاهما إلى الرقم "1" للكيان الفرعي لرقم الشارع. راجع مقالة الكيان الذي تم إنشاؤه مسبقا للحصول على مزيد من المعلومات.

الميزة المطلوبة باستخدام كيانات القائمة

يتم استخدام كيان القائمة كقائمة بالأسماء الأساسية إلى جانب مرادفاتها. كميزة مطلوبة، إذا لم يتضمن النطق الاسم الأساسي أو مرادفا، فلن يتم إرجاع الكيان كجزء من نقطة نهاية التنبؤ.

لنفترض أن شركتك تشحن فقط إلى مجموعة محدودة من البلدان/المناطق. يمكنك إنشاء كيان قائمة يتضمن عدة طرق لعميلك للإشارة إلى البلد/المنطقة. إذا لم يعثر LUIS على تطابق تام داخل نص اللفظ، فلن يتم إرجاع الكيان (الذي يحتوي على الميزة المطلوبة لكيان القائمة) في التنبؤ.

الاسم الأساسي**	المرادفات
الولايات المتحدة	الولايات المتحدة الولايات المتحدة الأمريكية الولايات المتحدة USA 0

يمكن لتطبيق العميل ، مثل روبوت الدردشة ، طرح سؤال متابعة للمساعدة. وهذا يساعد العميل على فهم أن اختيار البلد / المنطقة محدود ومطلوب.

الميزة المطلوبة باستخدام كيانات التعبير العادية

يوفر كيان التعبير العادي المستخدم كميزة مطلوبة إمكانات مطابقة النص المنسقة.

في مثال عنوان الشحن، يمكنك إنشاء تعبير عادي يلتقط قواعد بناء الجملة للرموز البريدية للبلد/المنطقة.

الميزات العالمية

في حين أن الاستخدام الأكثر شيوعا هو تطبيق ميزة على نموذج معين، يمكنك تكوين الميزة كميزة عمومية لتطبيقها على التطبيق بأكمله.

الاستخدام الأكثر شيوعا لميزة عالمية هو إضافة مفردات إضافية إلى التطبيق. على سبيل المثال، إذا كان عملاؤك يستخدمون لغة أساسية، ولكنهم يتوقعون أن يكونوا قادرين على استخدام لغة أخرى داخل نفس اللفظ، فيمكنك إضافة ميزة تتضمن كلمات من اللغة الثانوية.

نظرا لأن المستخدم يتوقع استخدام اللغة الثانوية عبر أي نية أو كيان، أضف كلمات من اللغة الثانوية إلى قائمة العبارات. تكوين قائمة العبارات كميزة عمومية.

الجمع بين الميزات لمزيد من الفائدة

يمكنك استخدام أكثر من ميزة واحدة لوصف سمة أو مفهوم. الاقتران الشائع هو استخدام:

ميزة قائمة العبارات: يمكنك استخدام قوائم عبارات متعددة كميزات لنفس النموذج.
نموذج كميزة: كيان تم إنشاؤه مسبقا ، كيان تعبير عادي ، كيان قائمة.

مثال: ميزات كيان حجز التذاكر لتطبيق سفر

كمثال أساسي ، فكر في تطبيق لحجز رحلة مع نية حجز رحلة طيران وكيان حجز تذاكر. يلتقط كيان حجز التذاكر المعلومات لحجز تذكرة طائرة في نظام حجز.

يحتوي كيان التعلم الآلي لدفتر التذاكر على كيانين فرعيين لالتقاط المنشأ والوجهة. يجب إضافة الميزات إلى كل كيان فرعي، وليس إلى كيان المستوى الأعلى.

كيان حجز التذاكر هو كيان للتعلم الآلي ، مع كيانات فرعية بما في ذلك المنشأوالوجهة. وتشير هذه الكيانات الفرعية إلى موقع جغرافي. للمساعدة في استخراج المواقع والتمييز بين المنشأوالوجهة، يجب أن يكون لكل كيان فرعي ميزات.

النوع	الكيان الفرعي المنشأ	الكيان الفرعي الوجهة
نموذج كميزة	الجغرافيا V2 كيان مسبق الإنشاء	الجغرافيا V2 كيان مسبق الإنشاء
قائمة العبارات	كلمات الأصل : ابدأ من ، ابدأ من ، اترك	كلمات الوجهة : إلى، وصول، الهبوط في، الذهاب، الذهاب، الإقامة، التوجه
قائمة العبارات	رموز المطار - نفس القائمة لكل من المنشأ والوجهة	رموز المطار - نفس القائمة لكل من المنشأ والوجهة
قائمة العبارات	أسماء المطارات - نفس القائمة لكل من المنشأ والوجهة	رموز المطار - نفس القائمة لكل من المنشأ والوجهة

إذا كنت تتوقع أن يستخدم الأشخاص رموز المطارات وأسماء المطارات ، فيجب أن يكون لدى LUIS قوائم عبارات تستخدم كلا النوعين من العبارات. قد تكون رموز المطار أكثر شيوعا مع النص الذي يتم إدخاله في chatbot بينما قد تكون أسماء المطارات أكثر شيوعا مع المحادثة المنطوقة مثل chatbot الذي يدعم الكلام.

يتم إرجاع التفاصيل المطابقة للميزات فقط للنماذج ، وليس لقوائم العبارات لأنه يتم إرجاع النماذج فقط في التنبؤ JSON.

وضع علامات حجز التذاكر في القصد

بعد إنشاء كيان التعلم الآلي، تحتاج إلى إضافة أمثلة على الألفاظ إلى إحدى النوايا، وتسمية الكيان الأصل وجميع الكيانات الفرعية.

بالنسبة إلى مثال حجز التذاكر، قم بتسمية عبارات المثال في القصد مع كيان TicketBooking وأي كيانات فرعية في النص.

مثال: تطبيق طلب البيتزا

على سبيل المثال الثاني ، فكر في تطبيق لمطعم بيتزا ، يتلقى طلبات البيتزا بما في ذلك تفاصيل نوع البيتزا التي يطلبها شخص ما. يجب استخراج كل تفاصيل البيتزا ، إن أمكن ، من أجل إكمال معالجة الطلب.

يكون كيان التعلم الآلي في هذا المثال أكثر تعقيدا مع الكيانات الفرعية المتداخلة وقوائم العبارات والكيانات المعدة مسبقا والكيانات المخصصة.

يستخدم هذا المثال المعالم على مستوى الكيان الفرعي والتابع لمستوى الكيان الفرعي. المستوى الذي يحصل على نوع قائمة العبارات أو النموذج كميزة هو جزء مهم من تصميم الكيان الخاص بك.

على الرغم من أن الكيانات الفرعية يمكن أن تحتوي على العديد من قوائم العبارات كميزات تساعد في اكتشاف الكيان، إلا أن كل كيان فرعي يحتوي على نموذج واحد فقط كميزة. في تطبيق البيتزا هذا ، هذه النماذج هي قوائم في المقام الأول.

يتم عرض أقوال الأمثلة المسماة بشكل صحيح بطريقة توضح كيفية تداخل الكيانات.