Dowiedz się, jak używać trybu JSON

Tryb JSON umożliwia ustawienie formatu odpowiedzi modeli w celu zwrócenia prawidłowego obiektu JSON w ramach uzupełniania czatu. Podczas generowania prawidłowego kodu JSON było możliwe wcześniej, mogą wystąpić problemy ze spójnością odpowiedzi, co doprowadziłoby do wygenerowania nieprawidłowych obiektów JSON.

Obsługa trybu JSON

Tryb JSON jest obecnie obsługiwany tylko w przypadku następujących modeli:

Obsługiwane modele

• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (1106-Preview)
• gpt-4 (0125-Preview)

Obsługa interfejsu API

Obsługa trybu JSON została po raz pierwszy dodana w wersji interfejsu API 2023-12-01-preview

Przykład

Python

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-03-01-preview"
)

response = client.chat.completions.create(
  model="gpt-4-0125-Preview", # Model = should match the deployment name you chose for your 0125-Preview model deployment
  response_format={ "type": "json_object" },
  messages=[
    {"role": "system", "content": "You are a helpful assistant designed to output JSON."},
    {"role": "user", "content": "Who won the world series in 2020?"}
  ]
)
print(response.choices[0].message.content)

Wyjście

{
  "winner": "Los Angeles Dodgers",
  "event": "World Series",
  "year": 2020
}

Program PowerShell

W tym przykładzie użytkownik prosi o informacje historyczne w określonym schemacie JSON, ponieważ planuje użyć danych wyjściowych do dalszego tworzenia skryptów.

$openai = @{
   api_key     = $Env:AZURE_OPENAI_API_KEY
   api_base    = $Env:AZURE_OPENAI_ENDPOINT # like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
   api_version = '2024-03-01-preview' # may change in the future
   name        = 'YOUR-DEPLOYMENT-NAME-HERE' # name you chose for your deployment
}

$headers = @{
  'api-key' = $openai.api_key
}

$messages  = @()
$messages += @{
  role     = 'system'
  content  = 'You are a helpful assistant designed to output JSON.'
}
$messages += @{
  role     = 'user'
  content  = 'Who threw the final pitch during the world series each year from 1979 to 1989?'
}
$messages += @{
  role     = 'user'
  content  = 'Respond using schema. response:{year, team, player, player_height}.'
}

$body      = @{
  response_format = @{type = 'json_object'}
  messages = $messages
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/chat/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
$response.choices[0].message.content

Wyjście

Funkcja danych wyjściowych JSON ułatwia programowi PowerShell konwertowanie odpowiedzi na obiekt .NET. Przekaż dane przez | potok, aby uruchomić więcej kroków skryptów, takich jak sortowanie.

if ($response.choices[0].finish_reason -eq 'stop') {
  $response.choices[0].message.content | ConvertFrom-Json | ForEach-Object response | Sort player_height -Descending
} else { write-warning 'the JSON response was incomplete'}

year team                  player           player_height
---- ----                  ------           -------------
1979 Pittsburgh Pirates    Kent Tekulve     6' 4"
1984 Detroit Tigers        Willie Hernandez 6' 3"
1988 Los Angeles Dodgers   Orel Hershiser   6' 3"
1982 St. Louis Cardinals   Bruce Sutter     6' 2"
1985 Kansas City Royals    Dan Quisenberry  6' 2"
1986 New York Mets         Jesse Orosco     6' 2"
1989 Oakland Athletics     Dennis Eckersley 6' 2"
1981 Los Angeles Dodgers   Steve Howe       6' 1"
1980 Philadelphia Phillies Tug McGraw       6' 0"
1987 Minnesota Twins       Jeff Reardon     6' 0"
1983 Baltimore Orioles     Tippy Martinez   5' 10"

Istnieją dwa kluczowe czynniki, które muszą być obecne, aby pomyślnie użyć trybu JSON:

• response_format={ "type": "json_object" }
• Poinformowaliśmy model o danych wyjściowych JSON w ramach komunikatu systemowego.

Dołączanie wskazówek do modelu, które powinno zawierać dane JSON w ramach konwersacji komunikatów, jest wymagane. Zalecamy dodanie instrukcji w ramach komunikatu systemowego. Zgodnie z błędem openAI dodania tej instrukcji może spowodować, że model "wygeneruje niekończący się strumień białych znaków, a żądanie może być uruchamiane stale, dopóki nie osiągnie limitu tokenu".

Nie można uwzględnić ciągu "JSON" w komunikatach zwraca następujące elementy:

Wyjście

BadRequestError: Error code: 400 - {'error': {'message': "'messages' must contain the word 'json' in some form, to use 'response_format' of type 'json_object'.", 'type': 'invalid_request_error', 'param': 'messages', 'code': None}}

Inne uwagi

Przed przeanalizowanie odpowiedzi należy sprawdzić finish_reason wartość length . Model może wygenerować częściowy kod JSON. Oznacza to, że dane wyjściowe z modelu były większe niż dostępne max_tokens ustawione jako część żądania lub sama konwersacja przekroczyła limit tokenu.

Tryb JSON generuje prawidłowy kod JSON i analizuje bez błędu. Nie ma jednak gwarancji, że dane wyjściowe pasują do określonego schematu, nawet jeśli zostanie wyświetlony monit.