Bagikan melalui

Bekerja dengan model Azure OpenAI

  • Artikel

Azure OpenAI Service didukung oleh beragam rangkaian model dengan kemampuan dan titik harga berbeda. Ketersediaan model bervariasi menurut wilayah.

Anda bisa mendapatkan daftar model yang tersedia untuk inferensi dan penyempurnaan oleh sumber daya Azure OpenAI Anda dengan menggunakan API Daftar Model.

Pembaruan model

Azure OpenAI sekarang mendukung pembaruan otomatis untuk penyebaran model tertentu. Pada model tempat dukungan pembaruan otomatis tersedia, drop-down versi model terlihat di Azure OpenAI Studio di bawah Buat penyebaran baru dan Edit penyebaran:

Screenshot of the deploy model UI of Azure OpenAI Studio.

Anda dapat mempelajari selengkapnya tentang versi model Azure OpenAI dan cara kerjanya di artikel versi model Azure OpenAI.

Pembaruan otomatis ke default

Saat Anda mengatur penyebaran ke Pembaruan otomatis ke default, penyebaran model Anda secara otomatis diperbarui dalam waktu dua minggu setelah perubahan dalam versi default. Untuk versi pratinjau, versi pratinjau diperbarui secara otomatis saat versi pratinjau baru tersedia mulai dua minggu setelah versi pratinjau baru dirilis.

Jika Anda masih dalam fase pengujian awal untuk model inferensi, sebaiknya sebarkan model dengan pembaruan otomatis ke set default setiap kali tersedia.

Versi model tertentu

Seiring berkembangnya penggunaan Azure OpenAI, dan Anda mulai membangun dan mengintegrasikan dengan aplikasi yang mungkin ingin Anda kontrol pembaruan model secara manual. Anda dapat terlebih dahulu menguji dan memvalidasi bahwa perilaku aplikasi Anda konsisten untuk kasus penggunaan Anda sebelum meningkatkan.

Saat Anda memilih versi model tertentu untuk penyebaran, versi ini tetap dipilih hingga Anda memilih untuk memperbarui diri Anda secara manual, atau setelah Anda mencapai tanggal pensiun untuk model. Ketika tanggal penghentian tercapai, model akan secara otomatis ditingkatkan ke versi default pada saat penghentian.

Menampilkan tanggal penghentian

Untuk model yang saat ini disebarkan, dari Azure OpenAI Studio pilih Penyebaran:

Screenshot of the deployment UI of Azure OpenAI Studio.

Untuk melihat tanggal penghentian untuk semua model yang tersedia di wilayah tertentu dari Azure OpenAI Studio, pilih Opsi> Kolom Model>Pilih Penyesuaian penghentian dan Inferensi Penghentian:

Screenshot of the models UI of Azure OpenAI Studio.

Konfigurasi peningkatan penyebaran model

Anda dapat memeriksa opsi peningkatan model apa yang diatur untuk model yang disebarkan sebelumnya di Azure OpenAI Studio. Pilih Penyebaran> Di bawah kolom nama penyebaran pilih salah satu nama penyebaran yang disorot dengan warna biru.

Screenshot of the deployments pane with a deployment name highlighted.

Memilih nama penyebaran akan membuka Properti untuk penyebaran model. Anda dapat melihat opsi peningkatan apa yang diatur untuk penyebaran Anda di bawah Kebijakan pembaruan versi:

Screenshot of the model deployments property UI.

Properti yang sesuai juga dapat diakses melalui REST, Azure PowerShell, dan Azure CLI.

Opsi Read Pembaruan
REST Ya. Jika versionUpgradeOption tidak dikembalikan, artinya null Ya
Azure PowerShell Ya.VersionUpgradeOption dapat diperiksa $null Ya
Azure CLI Ya. Ini menunjukkan null apakah versionUpgradeOption tidak diatur. Tidak. Saat ini tidak dimungkinkan untuk memperbarui opsi peningkatan versi.

Ada tiga opsi peningkatan penyebaran model yang berbeda:

Nama Deskripsi
OnceNewDefaultVersionAvailable Setelah versi baru ditetapkan sebagai default, penyebaran model secara otomatis ditingkatkan ke versi default dalam waktu dua minggu setelah perubahan penugasan tersebut dilakukan.
OnceCurrentVersionExpired Setelah tanggal penghentian tercapai, penyebaran model secara otomatis ditingkatkan ke versi default saat ini.
NoAutoUpgrade Penyebaran model tidak pernah secara otomatis ditingkatkan. Setelah tanggal penghentian tercapai, penyebaran model berhenti berfungsi. Anda perlu memperbarui kode yang mereferensikan penyebaran tersebut untuk menunjuk ke penyebaran model yang tidak ada.

Catatan

null setara dengan AutoUpgradeWhenExpired. Jika opsi Kebijakan pembaruan versi tidak ada di properti untuk model yang mendukung peningkatan model, ini menunjukkan nilainya saat ini null. Setelah Anda secara eksplisit memodifikasi nilai ini, properti terlihat di halaman properti studio serta melalui REST API.

Contoh

Tinjau panduan memulai Azure PowerShell untuk menginstal Azure PowerShell secara lokal atau Anda bisa menggunakan Azure Cloud Shell.

Langkah-langkah di bawah ini menunjukkan pemeriksaan VersionUpgradeOption properti opsi serta memperbaruinya:

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
 
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}

// To update to a new model version

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version

// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

// repeat step 1 and 2 to confirm the change.

Memperbarui & menyebarkan model melalui API

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Parameter jalur

Parameter Tipe Wajib diisi? Deskripsi
acountname string Wajib Nama Sumber Daya Azure OpenAI Anda.
deploymentName string Wajib Nama penyebaran yang Anda pilih saat menyebarkan model yang sudah ada atau nama yang Anda inginkan untuk dimiliki penyebaran model baru.
resourceGroupName string Wajib Nama grup sumber daya terkait untuk penyebaran model ini.
subscriptionId string Wajib ID Langganan untuk langganan terkait.
api-version string Wajib Versi API yang digunakan untuk operasi ini. Ini mengikuti format YYYY-MM-DD.

Versi yang didukung

Badan permintaan

Ini hanya subset dari parameter isi permintaan yang tersedia. Untuk daftar lengkap parameter, Anda dapat merujuk ke dokumentasi referensi REST API.

Parameter Jenis Deskripsi
versionUpgradeOption String Opsi peningkatan versi model penyebaran:
OnceNewDefaultVersionAvailable
OnceCurrentVersionExpired
NoAutoUpgrade
kapasitas Integer Ini menunjukkan jumlah kuota yang Anda tetapkan untuk penyebaran ini. Nilai 1 sama dengan 1.000 Token per Menit (TPM)

Contoh permintaan

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Catatan

Ada beberapa cara untuk menghasilkan token otorisasi. Metode term mudah untuk pengujian awal adalah meluncurkan Cloud Shell dari portal Azure. Kemudian jalankan az account get-access-token. Anda dapat menggunakan token ini sebagai token otorisasi sementara untuk pengujian API.

Contoh tanggapan

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Langkah berikutnya