تعرف على كيفية إنشاء تضمينات باستخدامAzure OpenAI

مقالة
03/22/2024

التضمين هو تنسيق خاص لتمثيل البيانات يمكن استخدامه بسهولة من قبل نماذج وخوارزميات التعلم الآلي. التضمين هو تمثيل كثيف للمعلومات للمعنى الدلالي لجزء من النص. كل تضمين هو متجه من أرقام النقاط العائمة، بحيث ترتبط المسافة بين تضمينين في مساحة المتجه بالتشابه الدلالي بين إدخالين بالتنسيق الأصلي. على سبيل المثال، إذا كان نصان متشابهين، يجب أن تكون تمثيلات المتجهات متشابهة أيضاً. تضمين البحث عن تشابه متجه الطاقة في قواعد بيانات Azure مثل Azure Cosmos DB ل MongoDB vCore أو قاعدة بيانات Azure SQL أو قاعدة بيانات Azure ل PostgreSQL - الخادم المرن.

كيفية الحصول على التضمينات

للحصول على متجه تضمين لجزء من النص، نقدم طلبًا إلى نقطة نهاية التضمينات كما هو مُوضح في قصاصات التعليمات البرمجية التالية:

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-02-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-ada-002"
)

print(response.model_dump_json(indent=2))

إشعار

تم إهمال إصدار 0.28.1 مكتبة OpenAI Python. نوصي باستخدام 1.x. راجع دليل الترحيل للحصول على معلومات حول الانتقال من 0.28.1 إلى 1.x.

import openai

openai.api_type = "azure"
openai.api_key = YOUR_API_KEY
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-02-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-ada-002",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

أفضل الممارسات

تحقق من أن المدخلات لا تتجاوز الحد الأقصى للطول

الحد الأقصى لطول نص الإدخال لأحدث نماذج التضمين لدينا هو 8192 رمزا مميزا. يجب أن تتحقق من أن مدخلاتك لا تتجاوز هذا الحد قبل تقديم طلب.
إذا كان إرسال صفيف من المدخلات في طلب تضمين واحد هو الحد الأقصى لحجم الصفيف هو 2048.

القيود والمخاطر

قد تكون نماذج التضمين الخاصة بنا غير موثوق بها أو قد تشكل مخاطر اجتماعية في حالات مُعينة، وقد تسبب ضرراً في غياب عوامل التخفيف من المخاطر. راجع محتوى الذكاء الاصطناعي المسؤول للحصول على مزيد من المعلومات بشأن كيفية التعامل مع استخدامه بمسؤولية.

الخطوات التالية

تعرف على المزيد حول استخدام Azure OpenAI والتضمينات لإجراء البحث في المستندات باستخدام البرنامج التعليمي للتضمينات.
تعرف على المزيد حول النماذج الأساس التي تعمل على تشغيل Azure OpenAI.
قم بتخزين التضمينات وإجراء بحث متجه (تشابه) باستخدام اختيارك لخدمة Azure:

مشاركة عبر