Informazioni su come generare incorporamenti con OpenAI di Azure

Articolo
05/23/2024

Un incorporamento è un formato speciale di rappresentazione dei dati che può essere facilmente usato da modelli e algoritmi di apprendimento automatico. L'incorporamento è una rappresentazione densa di informazioni del significato semantico di un testo. Ogni incorporamento è un vettore di numeri a virgola mobile, in modo che la distanza tra due incorporamenti nello spazio vettoriale sia correlata alla somiglianza semantica tra due input nel formato originale. Ad esempio, se due testi sono simili, anche le rappresentazioni vettoriali dovrebbero essere simili. Incorporamento della ricerca di somiglianza dei vettori di alimentazione in Database di Azure, ad esempio Azure Cosmos DB per MongoDB vCore, database SQL di Azure o Database di Azure per PostgreSQL - Server flessibile.

Come ottenere incorporamenti

Per ottenere un vettore di incorporamento per un testo, viene inviata una richiesta all'endpoint di incorporamento, come illustrato nei frammenti di codice seguenti:

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-02-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-ada-002"
)

print(response.model_dump_json(indent=2))

Nota

La versione della libreria Python OpenAI 0.28.1 è deprecata. Ti consigliamo di usare 1.x. Vedere la Guida alla migrazione per informazioni sul passaggio da 0.28.1 a 1.x.

import openai

openai.api_type = "azure"
openai.api_key = YOUR_API_KEY
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-02-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-ada-002",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

Procedure consigliate

Verificare che gli input non superino la lunghezza massima

La lunghezza massima del testo di input per i modelli di incorporamento più recenti è di 8192 token. È necessario verificare che gli input non superino questo limite prima di effettuare una richiesta.
Se si invia una matrice di input in un'unica richiesta di incorporamento, la dimensione massima della matrice è 2048.

Limitazioni e rischi

I modelli di incorporamento possono essere inaffidabili o rappresentare rischi sociali in determinati casi e possono causare danni in assenza di mitigazioni. Esaminare i contenuti sull’intelligenza artificiale responsabile per ottenere altre informazioni riguardo a un uso responsabile di questa tecnologia.

Passaggi successivi

Ottenere altre informazioni sull'uso di OpenAI di Azure e degli incorporamenti per eseguire la ricerca di documenti con l'esercitazione sugli incorporamenti.
Altre informazioni sui modelli sottostanti che alimentano OpenAI di Azure.
Archiviare gli incorporamenti ed eseguire una ricerca vettoriale (somiglianza) usando il servizio di Azure scelto:

Condividi tramite