البنية المرجعية للدردشة الأساسية OpenAI من طرف إلى طرف

تتمتع تطبيقات الدردشة المؤسسية بالقدرة على تمكين الموظفين من خلال التفاعل مع المحادثة. هذا صحيح بشكل خاص بسبب التقدم المستمر لنماذج اللغات الكبيرة مثل نماذج GPT الخاصة ب OpenAI ونماذج LLaMA الخاصة ب Meta. تتكون تطبيقات الدردشة هذه من واجهة مستخدم للدردشة، ومستودعات بيانات تحتوي على معلومات خاصة بالمجال تتعلق باستفسارات المستخدم، ونماذج اللغات الكبيرة (LLMs) التي تتسبب في البيانات الخاصة بالمجال لإنتاج استجابة ذات صلة، ومنسق يشرف على التفاعل بين هذه المكونات.

توفر هذه المقالة بنية أساسية لإنشاء وتوزيع تطبيقات دردشة المؤسسة التي تستخدم نماذج اللغة الكبيرة ل Azure OpenAI. تستخدم البنية تدفق مطالبة Azure التعلم الآلي (AML) لإنشاء تدفقات قابلة للتنفيذ تنسق سير العمل من المطالبات الواردة إلى مخازن البيانات لجلب بيانات الأساس ل LLMs، جنبا إلى جنب مع أي منطق Python آخر مطلوب. يتم نشر التدفق القابل للتنفيذ إلى نظام مجموعة حوسبة Azure التعلم الآلي خلف نقطة نهاية مدارة عبر الإنترنت.

تتبع استضافة واجهة مستخدم الدردشة المخصصة (UI) إرشادات تطبيق الويب لخدمات التطبيقات الأساسية لنشر تطبيق ويب آمن ومكرر للمنطقة ومتاح بشكل كبير على Azure App Services. في هذه البنية تتصل App Service بخدمات Azure PaaS من خلال تكامل الشبكة الظاهرية عبر نقاط النهاية الخاصة. وبالمثل، تتصل خدمة تطبيق واجهة مستخدم الدردشة بنقطة النهاية المدارة عبر الإنترنت للتدفق عبر نقطة نهاية خاصة ويتم تعطيل الوصول العام إلى مساحة عمل Azure التعلم الآلي.

يتم تكوين مساحة عمل التعلم الآلي مع عزل الشبكة الظاهرية المدارة التي تتطلب الموافقة على جميع الاتصالات الصادرة. باستخدام هذا التكوين، يتم إنشاء شبكة ظاهرية مدارة، جنبا إلى جنب مع نقاط النهاية الخاصة المدارة التي تمكن الاتصال بالموارد الخاصة مثل مساحة تخزين Azure وAzure Container Registry وAzure OpenAI. يتم استخدام هذه الاتصالات الخاصة أثناء تأليف التدفق واختباره، ومن خلال التدفقات المنشورة على حساب Azure التعلم الآلي.

بناء الأنظمة

الشكل 1: بنية الدردشة الأساسية الشاملة باستخدام OpenAI

قم بتنزيل ملف Visio لهذه البنية.

المكونات

العديد من مكونات هذه البنية هي نفس الموارد في تطبيق الويب لخدمات التطبيقات الأساسية، حيث تتبع واجهة مستخدم الدردشة التي تستضيف في هذه البنية بنية تطبيق ويب App Service الأساسي. تركز المكونات المميزة في هذا القسم على المكونات المستخدمة لإنشاء تدفقات الدردشة وتنسيقها، وخدمات البيانات والخدمات التي تعرض LLMs.

• Azure التعلم الآلي هي خدمة سحابية مدارة تستخدم لتدريب نماذج التعلم الآلي ونشرها وإدارتها. تستخدم هذه البنية العديد من الميزات الأخرى ل Azure التعلم الآلي المستخدمة لتطوير ونشر تدفقات قابلة للتنفيذ لتطبيقات الذكاء الاصطناعي مدعومة بنماذج اللغات الكبيرة:
  • Azure التعلم الآلي تدفق المطالبة هو أداة تطوير تسمح لك بإنشاء وتقييم ونشر التدفقات التي تربط مطالبات المستخدم والإجراءات من خلال التعليمات البرمجية ل Python والمكالمات إلى LLMs. يتم استخدام تدفق المطالبة في هذه البنية كطبقة تنسق التدفقات بين المطالبة ومخازن البيانات المختلفة و LLM.
  • تسمح لك نقاط النهاية المدارة عبر الإنترنت بنشر تدفق للاستدلال في الوقت الحقيقي. في هذه البنية، يتم استخدامها كنقطة نهاية PaaS لواجهة مستخدم الدردشة لاستدعاء تدفقات المطالبة التي تستضيفها Azure التعلم الآلي.
• يتم استخدام Azure Storage للاستمرار في ملفات مصدر تدفق المطالبة لتطوير تدفق المطالبة.
• يتيح لك Azure Container Registry إنشاء صور الحاوية والبيانات الاصطناعية وتخزينها وإدارتها في سجل خاص لجميع أنواع عمليات نشر الحاويات. في هذه البنية، يتم حزم التدفقات كصور حاوية وتخزينها في Azure Container Registry.
• Azure OpenAI هي خدمة مدارة بالكامل توفر وصول REST API إلى نماذج اللغة الكبيرة ل Azure OpenAI، بما في ذلك GPT-4 وGPT-3.5-Turbo ومجموعة Embeddings من النماذج. في هذه البنية، بالإضافة إلى الوصول إلى النموذج، يتم استخدامه لإضافة ميزات المؤسسة الشائعة مثل الشبكة الظاهرية والارتباط الخاص ودعم الهوية المدارة وتصفية المحتوى.
• Azure الذكاء الاصطناعي Search هي خدمة بحث سحابية تدعم البحث في النص الكامل والبحث الدلالي والبحث المتجه والبحث المختلط. يتم تضمين Azure الذكاء الاصطناعي Search في البنية لأنها خدمة شائعة تستخدم في التدفقات خلف تطبيقات الدردشة. يمكن استخدام Azure الذكاء الاصطناعي Search لاسترداد البيانات ذات الصلة باستعلامات المستخدم وفهرستها. ينفذ تدفق المطالبة نمط RAG Retrieval Augmented Generation لاستخراج الاستعلام المناسب من المطالبة والاستعلام الذكاء الاصطناعي Search واستخدام النتائج كبيانات أساس لنموذج Azure OpenAI.

تدفق المطالبة التعلم الآلي Azure

تتبع النهاية الخلفية لتطبيقات دردشة المؤسسة بشكل عام نمطا مشابها للتدفق التالي:

• يدخل المستخدم مطالبة في واجهة مستخدم دردشة مخصصة (UI)
• يتم إرسال هذه المطالبة إلى النهاية الخلفية بواسطة التعليمة البرمجية للواجهة
• يتم استخراج هدف المستخدم (سؤال أو توجيه) من المطالبة بالنهاية الخلفية
• (اختياري) تحدد النهاية الخلفية مخزن (مخازن) البيانات التي تحتوي على البيانات ذات الصلة بمطالبة المستخدم
• يستعلم الطرف الخلفي عن مخزن (مخازن) البيانات ذات الصلة
• ترسل النهاية الخلفية الهدف وبيانات التأريض ذات الصلة وأي محفوظات مقدمة في المطالبة إلى LLM.
• ترجع النهاية الخلفية النتيجة إلى بحيث يمكن عرضها على واجهة المستخدم

يمكن تنفيذ النهاية الخلفية بأي عدد من اللغات ونشرها في خدمات Azure المختلفة. في هذه البنية، تم اختيار Azure التعلم الآلي تدفق المطالبة لأنه يوفر تجربة مبسطة لإنشاء التدفقات التي تنسق بين المطالبات ومخازن البيانات الخلفية و LLMs واختبارها ونشرها.

الشبكات

جنبا إلى جنب مع الوصول المستند إلى الهوية، يكون أمان الشبكة في صميم بنية الدردشة الشاملة الأساسية باستخدام OpenAI. من مستوى عال، تضمن بنية الشبكة ما يلي:

• نقطة دخول آمنة واحدة لحركة مرور واجهة مستخدم الدردشة
• تمت تصفية حركة مرور الشبكة
• البيانات المتنقلة مشفرة من طرف إلى طرف باستخدام TLS
• يتم تصغير النقل غير المصرح للبيانات عن طريق الاحتفاظ بحركة المرور في Azure باستخدام Private Link
• يتم تجميع موارد الشبكة منطقيا وعزلها عن بعضها البعض من خلال تجزئة الشبكة

تدفقات الشبكة

الشكل 2: تدفقات الشبكة لبنية الدردشة الأساسية الشاملة باستخدام OpenAI

يتم تغطية تدفقين في هذا الرسم التخطيطي في تطبيق الويب لخدمات التطبيقات الأساسية: 1. التدفق الوارد من المستخدم النهائي إلى واجهة مستخدم الدردشة و2. تدفق خدمات App Service إلى Azure PaaS. راجع هذه المقالة للحصول على تفاصيل حول هذه التدفقات. يركز هذا القسم على تدفق نقطة النهاية عبر الإنترنت التعلم الآلي Azure. توضح التفاصيل التالية التدفق من واجهة مستخدم الدردشة التي تعمل في تطبيق ويب App Service الأساسي إلى التدفق المنشور على حساب Azure التعلم الآلي:

1. يتم توجيه المكالمة من واجهة مستخدم الدردشة المستضافة لخدمة التطبيقات عبر نقطة نهاية خاصة إلى نقطة نهاية Azure التعلم الآلي عبر الإنترنت.
2. توجه نقطة النهاية عبر الإنترنت الاستدعاء إلى خادم يقوم بتشغيل التدفق المنشور. تعمل نقطة النهاية عبر الإنترنت كموازن تحميل وموجه.
3. يتم توجيه الاستدعاءات إلى خدمات Azure PaaS المطلوبة من قبل التدفق المنشور من خلال نقاط النهاية الخاصة المدارة.

الدخول إلى Azure التعلم الآلي

في هذه البنية، يتم تعطيل الوصول العام إلى مساحة عمل Azure التعلم الآلي ويمكن أن يحدث الوصول من خلال الوصول الخاص كما يلي نقطة النهاية الخاصة لتكوين مساحة عمل Azure التعلم الآلي. في الواقع، يتم استخدام نقاط النهاية الخاصة في جميع أنحاء هذه البنية لاستكمال الأمان المستند إلى الهوية. على سبيل المثال، من خلال السماح لواجهة مستخدم الدردشة المستضافة في App Service بالاتصال بخدمات PaaS غير المعرضة للإنترنت العام، بما في ذلك نقاط نهاية Azure التعلم الآلي.

مطلوب أيضا الوصول إلى نقطة النهاية الخاصة للاتصال بمساحة عمل Azure التعلم الآلي لتأليف التدفق.

الشكل 3: تدفقات الشبكة لمؤلف تدفق مطالبة Azure التعلم الآلي

يظهر الرسم التخطيطي مؤلف تدفق موجه يتصل من خلال Azure Bastion بمربع انتقال سريع للجهاز الظاهري. من مربع الانتقال هذا، يمكن للمؤلف الاتصال بمساحة عمل التعلم الآلي من خلال نقطة نهاية خاصة في نفس الشبكة مثل مربع الانتقال السريع. يمكن أيضا تحقيق الاتصال إلى الشبكة الظاهرية من خلال بوابات ExpressRoute أو VPN ونظير الشبكة الظاهرية.

التدفق من شبكة Azure التعلم الآلي الظاهرية المدارة إلى خدمات Azure PaaS

يوصى بتكوين مساحة عمل Azure التعلم الآلي لعزل الشبكة الظاهرية المدارة مع تكوين يتطلب الموافقة على جميع الاتصالات الصادرة. تتبع هذه البنية تلك التوصية. هناك نوعان من القواعد الصادرة المعتمدة. القواعد الصادرة المطلوبة هي للموارد المطلوبة للحل للعمل، مثل Azure Container Registry وAzure Storage. القواعد الصادرة المعرفة من قبل المستخدم هي للموارد المخصصة، مثل Azure OpenAI أو Azure الذكاء الاصطناعي Search، التي سيستخدمها سير العمل الخاص بك. تقع على عاتقك مسؤولية تكوين القواعد الصادرة المعرفة من قبل المستخدم، بينما يتم تكوين القواعد الصادرة المطلوبة عند إنشاء الشبكة الظاهرية المدارة.

يمكن أن تكون القواعد الصادرة نقاط نهاية خاصة أو علامات خدمة أو FQDNs لنقاط النهاية العامة الخارجية. في هذه البنية، يتم توصيل الاتصال بخدمات Azure مثل Azure Container Registry وAzure Storage وAzure Key Vault وخدمة Azure OpenAI وAzure الذكاء الاصطناعي Search من خلال ارتباط خاص. على الرغم من عدم وجودها في هذه البنية، فإن بعض العمليات الشائعة التي قد تتطلب تكوين قاعدة صادرة FQDN تقوم بتنزيل حزمة pip، واستنساخ مستودع GitHub، وتنزيل صور الحاوية الأساسية من المستودعات الخارجية.

تجزئة الشبكة الظاهرية وأمانها

تحتوي الشبكة في هذه البنية على شبكات فرعية منفصلة لما يلي:

• Application Gateway
• مكونات تكامل App Service
• نقاط النهاية الخاصة
• Azure Bastion
• جهاز ظاهري لمربع الانتقال
• التدريب - غير مستخدم للتدريب النموذجي في هذه البنية
• سجل

تحتوي كل شبكة فرعية على مجموعة أمان شبكة تحد من حركة المرور الواردة والصادرة لتلك الشبكات الفرعية إلى ما هو مطلوب فقط. يعرض الجدول التالي طريقة عرض مبسطة لقواعد NSG التي يضيفها الأساس إلى كل شبكة فرعية. يعطي الجدول اسم القاعدة والدالة.

الشبكة الفرعية	وارد	صادر
snet-appGateway	البدلات لمستخدمي واجهة مستخدم الدردشة لدينا عناوين IP المصدر (مثل الإنترنت العام)، بالإضافة إلى العناصر المطلوبة للخدمة	الوصول إلى نقطة النهاية الخاصة لخدمة تطبيقات Azure، بالإضافة إلى العناصر المطلوبة للخدمة.
snet-PrivateEndpoints	السماح بنسبة استخدام الشبكة فقط من الشبكة الظاهرية.	السماح بنسبة استخدام الشبكة إلى الشبكة الظاهرية فقط.
snet-AppService	السماح بنسبة استخدام الشبكة فقط من الشبكة الظاهرية.	السماح بالوصول إلى نقاط النهاية الخاصة وAzure Monitor.
AzureBastionSubnet	راجع الإرشادات في العمل مع وصول NSG وAzure Bastion	راجع الإرشادات في العمل مع وصول NSG وAzure Bastion
snet-jumpbox	السماح ب RDP الواردة وSSH من الشبكة الفرعية Bastion Host.	السماح بالوصول إلى نقاط النهاية الخاصة
snet-agents	السماح بنسبة استخدام الشبكة فقط من الشبكة الظاهرية.	السماح بنسبة استخدام الشبكة إلى الشبكة الظاهرية فقط.
التدريب على الشبكة	السماح بنسبة استخدام الشبكة فقط من الشبكة الظاهرية.	السماح بنسبة استخدام الشبكة إلى الشبكة الظاهرية فقط.
تسجيل نقاط الشبكة	السماح بنسبة استخدام الشبكة فقط من الشبكة الظاهرية.	السماح بنسبة استخدام الشبكة إلى الشبكة الظاهرية فقط.

يتم رفض جميع حركة المرور الأخرى بشكل صريح.

ضع في اعتبارك النقاط التالية عند تنفيذ تجزئة الشبكة الظاهرية والأمان.

• تمكين حماية DDoS للشبكة الظاهرية باستخدام شبكة فرعية تعد جزءا من بوابة تطبيق مع IP عام.
• أضف NSG إلى كل شبكة فرعية حيثما أمكن ذلك. يجب استخدام القواعد الأكثر صرامة التي تمكن وظائف الحل الكامل.
• استخدم مجموعات أمان التطبيقات. تسمح لك مجموعات أمان التطبيقات بتجميع مجموعات أمان الشبكة، ما يجعل إنشاء القواعد أسهل للبيئات المعقدة.

تصفية المحتوى ومراقبة إساءة استخدامه

تتضمن خدمة Azure OpenAI نظام تصفية المحتوى الذي يستخدم مجموعة من نماذج التصنيف للكشف عن فئات معينة من المحتوى الذي يحتمل أن يكون ضارا ومنعها في كل من مطالبات الإدخال وإكمال الإخراج. وتشمل فئات هذا المحتوى الذي يحتمل أن يكون ضارا الكراهية، والجنسي، وإيذاء النفس، والعنف، والألفاظ النابية، والهروب من السجن (المحتوى المصمم لتجاوز قيود LLM). يمكنك تكوين صرامة ما تريد تصفية المحتوى لكل فئة، مع وجود خيارات منخفضة أو متوسطة أو عالية. تعتمد هذه البنية المرجعية نهجا صارما. يجب عليك ضبط الإعدادات وفقا لمتطلباتك.

بالإضافة إلى تصفية المحتوى، تنفذ خدمة Azure OpenAI ميزات مراقبة إساءة الاستخدام. مراقبة إساءة الاستخدام هي عملية غير متزامنة مصممة للكشف عن مثيلات المحتوى المتكرر و/أو السلوكيات التي تقترح استخدام الخدمة بطريقة قد تنتهك قواعد سلوك Azure OpenAI والتخفيف منها. يمكنك طلب استثناء من مراقبة إساءة الاستخدام والمراجعة البشرية على سبيل المثال إذا كانت بياناتك حساسة للغاية أو إذا كانت هناك سياسات داخلية أو لوائح قانونية قابلة للتطبيق تمنع معالجة البيانات للكشف عن إساءة الاستخدام.

الموثوقيه

تركز بنية تطبيق ويب App Service الأساسية على التكرار النطاقي للخدمات الإقليمية الرئيسية. مناطق التوفر هي مواقع منفصلة فعليا داخل المنطقة. وهي توفر التكرار داخل منطقة لدعم الخدمات عند نشر مثيلين أو أكثر عبرها. عندما تواجه إحدى المناطق وقت تعطل، قد لا تتأثر المناطق الأخرى داخل المنطقة. تضمن البنية أيضا مثيلات كافية من خدمات Azure وتكوين هذه الخدمات ليتم نشرها عبر مناطق التوفر. يرجى الاطلاع على الأساس لمراجعة هذا التوجيه.

يتناول هذا القسم الموثوقية من منظور المكونات في هذه البنية التي لم يتم تناولها في أساس App Service، بما في ذلك Azure التعلم الآلي وAzure OpenAI وAzure الذكاء الاصطناعي Search.

التكرار النطاقي لنشر التدفق

عادة ما تتطلب عمليات نشر المؤسسة تكرارا محليا على الأقل. لتحقيق ذلك في Azure، يجب أن تدعم الموارد مناطق التوفر ويجب نشر مثيلات المورد على الأقل أو تمكين دعم النظام الأساسي عندما لا يتوفر التحكم في المثيل. حاليا، لا يقدم حساب Azure التعلم الآلي الدعم لمناطق التوفر. للتخفيف من التأثير المحتمل لكارثة على مستوى مركز البيانات على مكونات التعلم الآلي، من الضروري إنشاء مجموعات في مناطق مختلفة جنبا إلى جنب مع نشر موازن تحميل لتوزيع المكالمات بين هذه المجموعات. يمكنك استخدام فحوصات السلامة للمساعدة في ضمان توجيه المكالمات فقط إلى أنظمة المجموعات التي تعمل بشكل صحيح.

لا يقتصر نشر تدفقات المطالبة على مجموعات حساب Azure التعلم الآلي. يمكن نشر التدفق القابل للتنفيذ، كونه تطبيقا في حاوية، إلى أي خدمة Azure متوافقة مع الحاويات. تتضمن هذه الخيارات خدمات مثل Azure Kubernetes Service (AKS) وAzure Functions وAzure Container Apps (ACA) وAzure App Service. تدعم كل من هذه الخدمات مناطق التوفر. لتحقيق التكرار النطاقي لتنفيذ التدفق الفوري، دون التعقيد الإضافي للتوزيع متعدد المناطق، يجب نشر تدفقاتك إلى إحدى هذه الخدمات.

فيما يلي بنية بديلة حيث يتم نشر تدفقات المطالبة إلى Azure App Service. يتم استخدام App Service في هذه البنية لأن حمل العمل يستخدمه بالفعل لواجهة مستخدم الدردشة ولن يستفيد من إدخال تقنية جديدة في حمل العمل. يجب على فرق حمل العمل الذين لديهم خبرة في AKS التفكير في النشر في تلك البيئة، خاصة إذا كان يتم استخدام AKS للمكونات الأخرى في حمل العمل.

الشكل 4: بنية دردشة بديلة من طرف إلى طرف مع OpenAI لنشر تدفقات المطالبة إلى Azure App Services

تم ترقيم الرسم التخطيطي للمناطق الجديرة بالملاحظة في هذه البنية:

1. لا تزال التدفقات تؤلف في Azure التعلم الآلي تدفق المطالبة ولم تتغير بنية شبكة Azure التعلم الآلي. لا يزال مؤلفو التدفق يتصلون بتجربة تأليف مساحة العمل من خلال نقطة نهاية خاصة ويتم استخدام نقاط النهاية الخاصة المدارة للاتصال بخدمات Azure عند اختبار التدفقات.
2. يشير هذا الخط المنقط إلى دفع التدفقات القابلة للتنفيذ في حاويات إلى Azure Container Registry (ACR). لا يظهر في الرسم التخطيطي المسارات التي تقوم بتعبئة التدفقات في حاويات ودفعها إلى ACR.
3. هناك تطبيق ويب آخر تم نشره في نفس خطة App Service التي تستضيف بالفعل واجهة مستخدم الدردشة. يستضيف تطبيق الويب الجديد تدفق المطالبة المستضاف في حاويات، والموزع على نفس خطة App Service التي تعمل بالفعل على ثلاثة مثيلات على الأقل، تنتشر عبر مناطق التوفر. تتصل مثيلات App Service هذه ب ACR عبر نقطة نهاية خاصة عند تحميل صورة حاوية تدفق المطالبة.
4. تحتاج حاوية تدفق المطالبة إلى الاتصال بجميع الخدمات التابعة لتنفيذ التدفق. في هذه البنية التي ستكون إلى Azure الذكاء الاصطناعي Search وخدمة Azure OpenAI. تحتاج خدمات PaaS التي تم عرضها فقط للشبكة الفرعية لنقطة النهاية الخاصة المدارة بواسطة AML الآن إلى أن يتم كشفها في الشبكة الظاهرية حتى يمكن إنشاء خط الرؤية من App Service.

Azure OpenAI - الموثوقية

لا يدعم Azure OpenAI حاليا مناطق التوفر. للتخفيف من التأثير المحتمل لكارثة على مستوى مركز البيانات على عمليات نشر النموذج في Azure OpenAI، من الضروري نشر Azure OpenAI في مناطق مختلفة جنبا إلى جنب مع نشر موازن تحميل لتوزيع المكالمات بين المناطق. يمكنك استخدام فحوصات السلامة للمساعدة في ضمان توجيه المكالمات فقط إلى أنظمة المجموعات التي تعمل بشكل صحيح.

من أجل دعم مثيلات متعددة بشكل فعال، نوصي بإضفاء الطابع الخارجي على ملفات الضبط الدقيقة، مثل حساب Azure Storage المتكرر جغرافيا. سيؤدي ذلك إلى تقليل الحالة المخزنة في خدمة Azure OpenAI لكل منطقة. ستظل هناك حاجة إلى الضبط الدقيق لكل مثيل من أجل استضافة نشر النموذج.

من المهم مراقبة معدل النقل المطلوب من حيث الرموز المميزة لكل دقيقة (TPM) والطلبات في الدقيقة (RPM) للتأكد من تعيين TPM كافية من الحصة النسبية لتلبية الطلب على عمليات النشر الخاصة بك ومنع تقييد المكالمات إلى النماذج المنشورة. يمكن نشر بوابة مثل Azure API Management (APIM) أمام خدمة (خدمات) OpenAI الخاصة بك ويمكن تكوينها لإعادة المحاولة في حالة الأخطاء العابرة والتقييد. يمكن أيضا استخدام APIM ك قاطع دائرة لمنع الخدمة من الارتباك مع المكالمة، ما يتجاوز الحصة النسبية لها.

Azure الذكاء الاصطناعي Search - الموثوقية

توزيع Azure الذكاء الاصطناعي Search مع مستوى التسعير القياسي أو أعلى في منطقة تدعم مناطق التوفر ونشر ثلاث نسخ متماثلة أو أكثر. تنتشر النسخ المتماثلة تلقائيا بالتساوي عبر مناطق التوفر.

ضع في اعتبارك الإرشادات التالية لتحديد العدد المناسب من النسخ المتماثلة والأقسام:

• اتبع الإرشادات لمراقبة Azure الذكاء الاصطناعي Search.
• استخدم مقاييس المراقبة والسجلات وتحليل الأداء لتحديد العدد المناسب من النسخ المتماثلة لتجنب التقييد المستند إلى الاستعلام والأقسام لتجنب التقييد المستند إلى الفهرس.

Azure التعلم الآلي - الموثوقية

إذا قمت بالنشر لحساب المجموعات خلف نقطة نهاية Azure التعلم الآلي المدارة عبر الإنترنت، ففكر في الإرشادات التالية فيما يتعلق بالتحجيم:

• اتبع الإرشادات للتحجيم التلقائي لنقاط النهاية عبر الإنترنت لضمان توفر سعة كافية لتلبية الطلب. إذا لم تكن إشارات الاستخدام في الوقت المناسب كافية بسبب استخدام الاندفاع، ففكر في الإفراط في التوفير لمنع تأثير الموثوقية من توفر عدد قليل جدا من المثيلات.
• ضع في اعتبارك إنشاء قواعد التحجيم استنادا إلى مقاييس التوزيع مثل تحميل وحدة المعالجة المركزية ومقاييس نقطة النهاية مثل زمن انتقال الطلب.
• يجب نشر ما لا يقل عن ثلاثة مثيلات لنشر إنتاج نشط.
• تجنب عمليات التوزيع مقابل المثيلات قيد الاستخدام. بدلا من ذلك، قم بالنشر إلى نشر جديد وتحويل نسبة استخدام الشبكة بعد أن يكون النشر جاهزا لتلقي نسبة استخدام الشبكة.

الأمان

تنفذ هذه البنية كلا من الشبكة ومحيط أمان الهوية. من منظور الشبكة، الشيء الوحيد الذي يجب أن يكون متاحا من الإنترنت هو واجهة مستخدم الدردشة عبر بوابة التطبيق. من منظور الهوية، يجب على واجهة مستخدم الدردشة مصادقة الطلبات وتخويلها. يتم استخدام الهويات المدارة، حيثما أمكن، لمصادقة التطبيقات على خدمات Azure.

تمت مناقشة أمان الشبكة في قسم الشبكات. يناقش هذا القسم إدارة الهوية والوصول واعتبارات الأمان لتناوب المفاتيح وضبط نموذج Azure OpenAI.

إدارة الهوية والوصول

يوسع الإرشادات التالية إرشادات إدارة الهوية والوصول في أساس App Service:

• إنشاء هويات مدارة منفصلة لموارد AML التالية، حيثما ينطبق ذلك:
  • مساحة العمل - تستخدم أثناء تأليف التدفق وإدارته
  • مثيل الحساب - يستخدم عند اختبار التدفقات
  • نقطة النهاية عبر الإنترنت - يستخدمها التدفق المنشور إذا تم نشرها إلى نقطة نهاية مدارة عبر الإنترنت
• تنفيذ عناصر التحكم في الوصول إلى الهوية لواجهة مستخدم الدردشة باستخدام معرف Microsoft Entra

أدوار التحكم في الوصول استنادا إلى الدور في Azure التعلم الآلي

هناك خمسة أدوار افتراضية يمكنك استخدامها لإدارة الوصول إلى مساحة عمل Azure التعلم الآلي: AzureML Data Scientist وعامل تشغيل حساب AzureML والقارئ والمساهم والمالك. جنبا إلى جنب مع هذه الأدوار الافتراضية، هناك AzureML Workspace الاتصال ion Secrets Reader ومستخدم سجل AzureML الذي يمنح الوصول إلى موارد مساحة العمل مثل أسرار مساحة العمل والتسجيل.

تتبع هذه البنية مبدأ الامتياز الأقل من خلال تعيين أدوار للهويات المذكورة أعلاه فقط حيث تكون مطلوبة. فيما يلي تعيينات الأدوار.

الهوية المُدارة	النطاق	تعيينات الأدوار
الهوية المدارة لمساحة العمل	مجموعة الموارد	مساهم
الهوية المدارة لمساحة العمل	حساب تخزين مساحة العمل	المساهم في بيانات مخزن البيانات الثنائية الكبيرة
الهوية المدارة لمساحة العمل	حساب تخزين مساحة العمل	مساهم متميز لبيانات ملف التخزين
الهوية المدارة لمساحة العمل	مخزن مفاتيح مساحة العمل	مسؤول Key Vault
الهوية المدارة لمساحة العمل	سجل حاوية مساحة العمل	ACRPush
الهوية المدارة لنقطة النهاية عبر الإنترنت	سجل حاوية مساحة العمل	AcrPull
الهوية المدارة لنقطة النهاية عبر الإنترنت	حساب تخزين مساحة العمل	قارئ بيانات مخزن البيانات الثنائية الكبيرة
الهوية المدارة لنقطة النهاية عبر الإنترنت	مساحة عمل التعلم الآلي	AzureML Workspace الاتصال ion Secrets Reader
الهوية المدارة لمثيل الحساب	سجل حاوية مساحة العمل	ACRPull
الهوية المدارة لمثيل الحساب	حساب تخزين مساحة العمل	قارئ بيانات مخزن البيانات الثنائية الكبيرة

دوران المفتاح

هناك خدمتان في هذه البنية تستخدمان المصادقة المستندة إلى المفتاح: Azure OpenAI ونقطة النهاية المدارة عبر الإنترنت في Azure التعلم الآلي. نظرا لأنك تستخدم المصادقة المستندة إلى المفتاح لهذه الخدمات، فمن المهم:

• تخزين المفتاح في مخزن آمن مثل Azure Key Vault للوصول عند الطلب من العملاء المعتمدين (مثل Azure Web App الذي يستضيف حاوية تدفق المطالبة).
• تنفيذ استراتيجية تدوير المفتاح. إذا قمت بتدوير المفاتيح يدويا، فيجب عليك إنشاء نهج انتهاء صلاحية المفتاح واستخدام نهج Azure لمراقبة ما إذا كان قد تم تدوير المفتاح أم لا.

ضبط نموذج OpenAI

إذا كنت تقوم بضبط نماذج OpenAI في التنفيذ الخاص بك، ففكر في الإرشادات التالية:

• إذا كنت تقوم بتحميل بيانات التدريب للضبط الدقيق، ففكر في استخدام المفاتيح المدارة من قبل العميل لتشفير تلك البيانات.
• إذا كنت تخزن بيانات التدريب في مخزن مثل Azure Blob Storage، ففكر في استخدام مفتاح مدار من قبل العميل لتشفير البيانات، واستخدم هوية مدارة للتحكم في الوصول إلى البيانات، ونقطة نهاية خاصة للاتصال بالبيانات.

كفاءة الأداء

كفاءة الأداء هي قدرة حمل عملك على تغيير الحجم لتلبية المطالب التي يضعها المستخدمون عليها بطريقة فعالة. لمزيد من المعلومات، راجع نظرة عامة على ركيزة كفاءة الأداء.

يناقش هذا القسم كفاءة الأداء من منظور Azure Search وAzure OpenAI وAzure التعلم الآلي.

Azure Search - كفاءة الأداء

اتبع الإرشادات لتحليل الأداء في Azure الذكاء الاصطناعي Search.

Azure OpenAI - كفاءة الأداء

• تحديد ما إذا كان تطبيقك يتطلب معدل نقل تم توفيره أو سيستخدم نموذج الاستضافة المشتركة (الاستهلاك). يوفر معدل النقل المتوفر سعة معالجة محجوزة لنشر نموذج OpenAI الخاص بك، ما يوفر أداء ومعدل نقل يمكن التنبؤ به لنماذجك. يختلف نموذج الفوترة هذا عن نموذج الاستضافة المشتركة (الاستهلاك)، وهو أفضل جهد وقد يكون عرضة لجيران صاخبة أو ضغوط أخرى على النظام الأساسي.
• بالنسبة إلى معدل النقل المقدم، يجب عليك مراقبة الاستخدام المدار بواسطة التزويد

Azure التعلم الآلي - كفاءة الأداء

إذا كان النشر إلى Azure التعلم الآلي نقاط النهاية عبر الإنترنت:

• اتبع الإرشادات حول كيفية التحجيم التلقائي لنقطة نهاية عبر الإنترنت للبقاء متوافقا بشكل وثيق مع الطلب، دون الإفراط في التوفير، خاصة في فترات الاستخدام المنخفض.
• اختر SKU للجهاز الظاهري المناسب لنقطة النهاية عبر الإنترنت لتلبية أهداف الأداء الخاصة بك. تريد اختبار أداء كل من عدد المثيلات الأدنى ووحدات SKU الأكبر مقابل عدد المثيلات الأكبر ووحدات SKU الأصغر للعثور على التكوين الأمثل.

تحسين التكلفة

يركز تحسين التكلفة على البحث عن طرق للحد من النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.

للاطلاع على مثال تسعير لهذا السيناريو، استخدم حاسبة تسعير Azure. ستحتاج إلى تخصيص المثال لمطابقة استخدامك، حيث يتضمن هذا المثال فقط المكونات المضمنة في البنية. أغلى المكونات في السيناريو هي واجهة مستخدم الدردشة وحوسبة تدفق المطالبة وAzure الذكاء الاصطناعي Search، لذا ابحث عن التحسين حول هذه الموارد لتوفير أكبر تكلفة.

Compute

يدعم تدفق المطالبة التعلم الآلي Azure خيارات متعددة لاستضافة التدفقات القابلة للتنفيذ. تتضمن الخيارات نقاط النهاية المدارة عبر الإنترنت في Azure التعلم الآلي وAzure Kubernetes Service وAzure App Service وAzure Container Service. كل خيار من هذه الخيارات له نموذج الفوترة الخاص به. يؤثر اختيار الحساب على التكلفة الإجمالية للحل.

Azure OpenAI

Azure OpenAI هي خدمة قائمة على الاستهلاك، وكما هو الحال مع أي خدمة قائمة على الاستهلاك، فإن التحكم في الطلب مقابل العرض هو عنصر التحكم الأساسي في التكلفة. للقيام بذلك في خدمة Azure OpenAI على وجه التحديد تحتاج إلى استخدام مجموعة من الأساليب:

• التحكم في العملاء. طلبات العميل هي المصدر الأساسي للتكلفة في نموذج الاستهلاك، مثل التحكم في سلوك العميل أمر بالغ الأهمية. يجب على جميع العملاء:
  • تمت الموافقة. تجنب تعريض الخدمة بطريقة تدعم الوصول المجاني للجميع. تقييد الوصول من خلال عناصر التحكم في الشبكة والهوية (المفتاح أو التحكم في الوصول استنادا إلى الدور).
  • أن تكون ذاتية التحكم. مطالبة العملاء باستخدام قيود تحديد الرمز المميز التي توفرها استدعاءات واجهة برمجة التطبيقات، مثل max_tokens max_completions.
  • استخدم الإرسال في دفعات، حيثما كان ذلك عمليا. راجع العملاء للتأكد من أنهم يقومون بتجميع المطالبات بشكل مناسب.
  • تحسين طول الإدخال والاستجابة الفورية. تستهلك المطالبات الأطول المزيد من الرموز المميزة، ما يرفع التكلفة، ولكن المطالبات التي تفتقد سياقا كافيا لا تساعد النماذج على تحقيق نتائج جيدة. إنشاء مطالبات موجزة توفر سياقا كافيا للسماح للنموذج بإنشاء استجابة مفيدة. وبالمثل، تأكد من تحسين حد طول الاستجابة.
• يجب أن يكون استخدام ملعب Azure OpenAI ضروريا وعلى مثيلات ما قبل الإنتاج، لذلك لا تتحمل هذه الأنشطة تكاليف الإنتاج.
• حدد نموذج الذكاء الاصطناعي الصحيح. يلعب اختيار النموذج أيضا دورا كبيرا في التكلفة الإجمالية ل Azure OpenAI. جميع النماذج لها نقاط القوة والضعف ويتم تسعيرها بشكل فردي. يمكن أن يؤدي استخدام النموذج الصحيح لحالة الاستخدام إلى التأكد من عدم الإفراط في الإنفاق على نموذج أكثر تكلفة عندما ينتج عن نموذج أقل تكلفة نتائج مقبولة. في تنفيذ مرجع الدردشة هذا، تم اختيار GPT 3.5-turbo عبر GPT-4 لتوفير ترتيب حجم تكاليف توزيع النموذج مع تحقيق نتائج كافية.
• فهم نقاط توقف الفوترة - يتم تحصيل رسوم الضبط الدقيق في الساعة. لكي تكون الأكثر كفاءة، ستحتاج إلى الاستفادة من أكبر قدر من الوقت المتاح في الساعة لتحسين نتائج الضبط الدقيق مع تجنب الانزلاق فقط في فترة الفوترة التالية. وبالمثل، فإن تكلفة 100 صورة من إنشاء الصور هي نفس تكلفة صورة واحدة. تكبير نقاط فواصل الأسعار لمصلحتك.
• فهم نماذج الفوترة - يتوفر Azure OpenAI أيضا في نموذج الفوترة المستند إلى الالتزام من خلال عرض معدل النقل المقدم. بمجرد أن يكون لديك أنماط استخدام يمكن التنبؤ بها، قم بتقييم التبديل إلى نموذج الفوترة قبل الشراء هذا إذا كان يحسب ليكون أكثر فعالية من حيث التكلفة في حجم الاستخدام الخاص بك.
• تعيين حدود التزويد - تأكد من تخصيص جميع حصص التوفير فقط للنماذج التي يتوقع أن تكون جزءا من حمل العمل، على أساس كل نموذج. لا يقتصر معدل النقل إلى النماذج المنشورة بالفعل على هذه الحصة النسبية المقدمة أثناء تمكين الحصة النسبية الديناميكية. لاحظ أن الحصة النسبية لا تعين التكاليف مباشرة وقد تختلف التكلفة.
• مراقبة استخدام الدفع أولا بأول - إذا كنت تستخدم الدفع أولا بأول، فراقب استخدام الرموز المميزة في الدقيقة (TPM) والطلبات في الدقيقة (RPM). استخدم هذه المعلومات لإبلاغ قرارات التصميم المعماري مثل النماذج التي يجب استخدامها، بالإضافة إلى تحسين أحجام المطالبة.
• مراقبة استخدام معدل النقل المقدم - إذا كنت تستخدم معدل النقل المقدم، فراقب الاستخدام المدار بواسطة التوفير للتأكد من أنك لا تستخدم معدل النقل المقدم الذي اشتريته.
• إدارة التكاليف - اتبع الإرشادات المتعلقة باستخدام ميزات إدارة التكاليف مع OpenAI لمراقبة التكاليف، وتعيين الميزانيات لإدارة التكاليف، وإنشاء تنبيهات لإعلام أصحاب المصلحة بالمخاطر أو الحالات الشاذة.

عمليات نموذج اللغة الكبيرة (LLMOps)

يجب أن يتبع النشر لحلول الدردشة المستندة إلى Azure OpenAI مثل هذه البنية الإرشادات في LLMOps مع التدفق السريع مع Azure DevOps وGitHub. بالإضافة إلى ذلك، يجب أن تنظر في أفضل الممارسات ل CI/CD والبنى المؤمنة بالشبكة. تتناول الإرشادات التالية تنفيذ التدفقات والبنية الأساسية المرتبطة بها استنادا إلى توصيات LLMOps. لا تتضمن إرشادات النشر هذه عناصر تطبيق الواجهة الأمامية، والتي لم تتغير من بنية تطبيق الويب المتكررة للمنطقة الأساسية المتوفرة بشكل كبير.

التطوير

يوفر تدفق المطالبة في Azure التعلم الآلي تجربة تأليف مستندة إلى المستعرض في استوديو Azure التعلم الآلي أو من خلال ملحق VS Code. يخزن كلا الخيارين التعليمات البرمجية للتدفق كملفات. عند استخدام Azure التعلم الآلي studio، يتم تخزين الملفات في حساب تخزين Azure. عند العمل في VS Code، يتم تخزين الملفات على نظام الملفات المحلي.

من أجل اتباع أفضل الممارسات للتطوير التعاوني، يجب الاحتفاظ بالملفات المصدر في مستودع التعليمات البرمجية المصدر عبر الإنترنت مثل GitHub. يسهل هذا الأسلوب تعقب جميع تغييرات التعليمات البرمجية والتعاون بين مؤلفي التدفق والتكامل مع تدفقات التوزيع التي تختبر جميع تغييرات التعليمات البرمجية وتتحقق من صحتها.

لتطوير المؤسسة، يجب استخدام ملحق VS Code وSDK /CLI للتدفق السريع للتطوير. يمكن لمؤلفي التدفق السريع إنشاء واختبار تدفقاتهم من VS Code ودمج الملفات المخزنة محليا مع نظام التحكم بالمصادر عبر الإنترنت والتدفقات. في حين أن التجربة المستندة إلى المتصفح مناسبة تماما للتطوير الاستكشافي، مع بعض العمل، يمكن دمجها مع نظام التحكم بالمصادر. يمكن تنزيل مجلد التدفق من صفحة التدفق في Files اللوحة، وفك ضغطه، ودفعه إلى نظام التحكم بالمصادر.

التقييم

يجب اختبار التدفقات المستخدمة في تطبيق الدردشة تماما كما تختبر أدوات البرامج الأخرى. من الصعب تحديد وتأكيد إجابة واحدة "صحيحة" لمخرجات LLM، ولكن يمكنك استخدام LLM نفسه لتقييم الاستجابات. ضع في اعتبارك تنفيذ التقييمات التلقائية التالية لتدفقات LLM الخاصة بك:

• دقة التصنيف: تقييم ما إذا كانت LLM تعطي درجة "صحيحة" أو "غير صحيحة" وتجمع النتائج لإنتاج درجة دقة.
• الاتساق: يقيم مدى جودة كتابة الجمل في الإجابة المتوقعة للنموذج وكيفية تواصلها بشكل متسق مع بعضها البعض.
• الطلاقة: يقيم إجابة النموذج المتوقعة لدقته النحوية واللغوية.
• التأريض مقابل السياق: يقيم مدى جودة إجابات النموذج المتوقعة على السياق الذي تم تكوينه مسبقا. حتى إذا كانت استجابات LLM صحيحة، إذا تعذر التحقق من صحتها مقابل السياق المحدد، فلن يتم سند هذه الاستجابات.
• الصلة: تقيم مدى توافق الإجابات المتوقعة للنموذج مع السؤال المطروح.

ضع في اعتبارك الإرشادات التالية عند تنفيذ التقييمات التلقائية:

• إنتاج درجات من التقييمات وقياسها مقابل عتبة نجاح محددة مسبقا. استخدم هذه الدرجات للإبلاغ عن نجاح/فشل الاختبار في البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك.
• تتطلب بعض هذه الاختبارات إدخالات بيانات مكونة مسبقا للأسئلة والسياق والحقيقة الأساسية.
• قم بتضمين أزواج الأسئلة والأجوبة الكافية لضمان موثوقية نتائج الاختبارات، مع الموصى به بما لا يقل عن 100-150 زوجا. يشار إلى أزواج الأسئلة والأجوبة هذه باسم "مجموعة البيانات الذهبية". قد تكون هناك حاجة إلى عدد أكبر من السكان اعتمادا على حجم مجموعة البيانات ومجالها.
• تجنب استخدام LLMs لإنشاء أي من البيانات في مجموعة البيانات الذهبية الخاصة بك.

تدفق التوزيع

الشكل 5: نشر التدفق الفوري

1. يفتح مهندس المطالبة/عالم البيانات فرع ميزة حيث يعملون على مهمة أو ميزة معينة. يكرر مهندس المطالبة/ عالم البيانات التدفق باستخدام تدفق المطالبة ل VS Code، ويلتزم بالتغييرات بشكل دوري ويدفع هذه التغييرات إلى فرع الميزات.

2. بمجرد اكتمال التطوير والتجريب المحليين، يفتح مهندس/عالم البيانات المطالبة طلب سحب من فرع الميزات إلى الفرع الرئيسي. يقوم طلب السحب (PR) بتشغيل مسار PR. يقوم هذا المسار بإجراء فحوصات جودة سريعة يجب أن تتضمن:

   • تنفيذ تدفقات التجريب
   • تنفيذ اختبارات الوحدة المكونة
   • تجميع قاعدة التعليمات البرمجية
   • تحليل التعليمات البرمجية الثابتة

3. يمكن أن تحتوي البنية الأساسية لبرنامج ربط العمليات التجارية على خطوة تتطلب من عضو فريق واحد على الأقل الموافقة يدويا على طلب السحب قبل الدمج. لا يمكن أن يكون الموافق هو الملتزم ولديه خبرة تدفق فورية وإلمام بمتطلبات المشروع. إذا لم تتم الموافقة على طلب السحب، يتم حظر الدمج. إذا تمت الموافقة على طلب السحب، أو لم تكن هناك خطوة موافقة، يتم دمج فرع الميزات في الفرع الرئيسي.

4. يؤدي الدمج إلى Main إلى تشغيل عملية الإنشاء والإصدار لبيئة التطوير. على وجه التحديد:

   أ. يتم تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية CI من الدمج إلى Main. تنفذ البنية الأساسية لبرنامج ربط العمليات التجارية CI جميع الخطوات التي تم إجراؤها في مسار PR، والخطوات التالية:

   • تدفق التجريب
   • تدفق التقييم
   • تسجيل التدفقات في Azure التعلم الآلي Registry عند الكشف عن التغييرات

   ب. يتم تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية CD بعد الانتهاء من البنية الأساسية لبرنامج ربط العمليات التجارية CI. ينفذ هذا التدفق الخطوات التالية:

   • نشر التدفق من Azure التعلم الآلي Registry إلى نقطة نهاية Azure التعلم الآلي عبر الإنترنت
   • تشغيل اختبارات التكامل التي تستهدف نقطة النهاية عبر الإنترنت
   • تشغيل اختبارات الدخان التي تستهدف نقطة النهاية عبر الإنترنت

5. يتم تضمين عملية الموافقة في عملية الترويج للإصدار - عند الموافقة، يتم وصف عمليات التكامل المستمر والتسليم المستمر الموضحة في الخطوات 4.a. تتكرر 4.b. وتستهدف بيئة الاختبار. الخطوتان أ. و ب. متشابهتان، باستثناء أن اختبارات قبول المستخدم يتم تشغيلها بعد اختبارات الدخان في بيئة الاختبار.

6. عمليات التكامل المستمر والتسليم المستمر الموضحة في الخطوات 4.a. يتم تشغيل 4.b. للترويج للإصدار إلى بيئة الإنتاج بعد التحقق من بيئة الاختبار والموافقة عليها.

7. بعد الإصدار في بيئة مباشرة، تتم المهام التشغيلية لمراقبة مقاييس الأداء وتقييم LLM المنشورة. يتضمن ذلك على سبيل المثال لا الحصر:

   • الكشف عن انحرافات البيانات
   • مراقبة البنية الأساسية
   • إدارة التكاليف
   • توصيل أداء النموذج إلى المساهمين

توزيعها

تسمح لك نقاط نهاية Azure التعلم الآلي بنشر النماذج بطريقة تتيح المرونة عند الإصدار للإنتاج. ضع في اعتبارك الاستراتيجيات التالية لضمان أفضل أداء النموذج وجودته:

• عمليات النشر الزرقاء/الخضراء: باستخدام هذه الاستراتيجية، يمكنك نشر الإصدار الجديد من خدمة الويب بأمان إلى مجموعة محدودة من المستخدمين أو الطلبات قبل توجيه جميع نسبة استخدام الشبكة إلى النشر الجديد.
• اختبار A/B: ليس فقط عمليات النشر الزرقاء/الخضراء فعالة لنشر التغييرات بأمان، بل يمكن استخدامها أيضا لنشر سلوك جديد يسمح لمجموعة فرعية من المستخدمين بتقييم تأثير التغيير.
• تضمين تحليل ملفات Python التي تعد جزءا من تدفق المطالبة في البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك. يتحقق التحليل من التوافق مع معايير الأنماط والأخطاء وتعقيد التعليمات البرمجية وعمليات الاستيراد غير المستخدمة وتسمية المتغير.
• عند نشر تدفقك إلى مساحة عمل Azure التعلم الآلي المعزولة بالشبكة، استخدم عامل مستضاف ذاتيا لنشر البيانات الاصطناعية إلى موارد Azure.
• يجب تحديث سجل نموذج Azure التعلم الآلي فقط عند وجود تغييرات على النموذج.
• يجب أن تكون LLM والتدفقات وواجهة مستخدم العميل مقترنة بشكل فضفاض. التحديثات إلى التدفقات وواجهة مستخدم العميل يمكن ويجب أن تكون قادرة على القيام بها دون التأثير على النموذج والعكس صحيح.
• عند تطوير ونشر تدفقات متعددة، يجب أن يكون لكل تدفق دورة حياة خاصة به، مما يسمح بتجربة مقترنة بشكل غير محكم عند تعزيز التدفقات من التجريب إلى الإنتاج.

البنية الأساسية

عند توزيع مكونات الدردشة الأساسية من طرف إلى طرف في Azure OpenAI، تكون بعض الخدمات المقدمة أساسية ودائمة داخل البنية، بينما تكون المكونات الأخرى أكثر زوالا في طبيعتها، فإن وجودها مرتبط بالنشر.

المكونات الأساسية

توجد بعض المكونات في هذه البنية مع دورة حياة تتجاوز أي تدفق موجه فردي أو أي توزيع نموذج. عادة ما يتم نشر هذه الموارد مرة واحدة كجزء من النشر الأساسي من قبل فريق حمل العمل، ويتم الاحتفاظ بها بصرف النظر عن الجديد أو إزالتها أو التحديثات إلى تدفقات المطالبة أو عمليات نشر النموذج.

• مساحة عمل Azure Machine Learning
• حساب Azure Storage لمساحة عمل Azure التعلم الآلي
• Azure Container Registry
• خدمة الذكاء الاصطناعي Azure AI Search
• Azure OpenAI
• Azure Application Insights
• Azure Bastion
• جهاز Azure الظاهري لمربع الانتقال السريع

مكونات سريعة الزوال

تقترن بعض موارد Azure بشكل أكثر إحكاما بتصميم تدفقات مطالبة محددة، ما يسمح لهذه الموارد بالربط لدورة حياة المكون وتصبح سريعة الزوال في هذه البنية. تتأثر عند تطور حمل العمل، مثل عند إضافة التدفقات أو إزالتها أو عند تقديم نماذج جديدة. تتم إعادة إنشاء هذه الموارد وإزالة المثيلات السابقة. بعض هذه الموارد هي موارد Azure مباشرة وبعضها مظاهر مستوى البيانات داخل الخدمة التي تحتوي عليها.

• يجب تحديث النموذج في سجل نموذج Azure التعلم الآلي، إذا تم تغييره، كجزء من البنية الأساسية لبرنامج ربط العمليات التجارية CD.
• يجب تحديث صورة الحاوية في سجل الحاوية كجزء من مسار CD.
• يتم إنشاء نقطة نهاية Azure التعلم الآلي عند نشر تدفق مطالبة إذا كان التوزيع يشير إلى نقطة نهاية غير موجودة. يجب تحديث نقطة النهاية هذه لإيقاف تشغيل الوصول العام.
• يتم تحديث عمليات نشر نقطة نهاية Azure التعلم الآلي عند نشر تدفق أو حذفه.
• يجب تحديث Key Vault لواجهة مستخدم العميل بالمفتاح إلى نقطة النهاية عند إنشاء نقطة نهاية جديدة.

مراقبة‬

يتم تكوين التشخيصات لجميع الخدمات. يتم تكوين جميع الخدمات ولكن Azure التعلم الآلي وAzure App Service لالتقاط جميع السجلات. يتم تكوين تشخيصات Azure التعلم الآلي لتسجيل سجلات التدقيق التي هي جميع سجلات الموارد التي تسجل تفاعلات العملاء مع البيانات أو إعدادات الخدمة. تم تكوين Azure App Service لالتقاط AppServiceHTTPLogs وAppServiceConsoleLogs وAppServiceAppLogs وAppServicePlatformLogs.

نشر هذا السيناريو

لنشر وتشغيل التنفيذ المرجعي، اتبع الخطوات الواردة في تنفيذ المرجع الأساسي من طرف إلى طرف ل OpenAI.

المساهمون

تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.

• روب باغبي | الأنماط والممارسات - Microsoft
• فريدي أيالا | مهندس حلول السحابة - Microsoft
• Prabal Deb | مهندس برامج أول - Microsoft
• رؤوف عليوات | مهندس برامج II - Microsoft
• Ritesh Modi | مهندس البرامج الرئيسي - Microsoft
• ريان بلالز | مهندس حلول أول - Microsoft

لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.

الخطوات التالية

اقرأ المزيد حول Azure OpenAI

الموارد ذات الصلة

• Azure OpenAI
• نماذج لغة Azure OpenAI الكبيرة
• تدفق المطالبة التعلم الآلي Azure
• عزل الشبكة الظاهرية المدارة لمساحة العمل
• تكوين نقطة نهاية خاصة لمساحة عمل Azure التعلم الآلي
• تصفية المحتوى