Snabbstart: Använda bilder i dina AI-chattar

Artikel
05/04/2024

Kom igång med GPT-4 Turbo med bilder med Azure OpenAI Service.

GPT-4 Turbo-modelluppgradering

Den senaste GA-versionen av GPT-4 Turbo är:

gpt-4Version:turbo-2024-04-09

Detta är ersättningen för följande förhandsversionsmodeller:

gpt-4Version:1106-Preview
gpt-4Version:0125-Preview
gpt-4Version:vision-preview

Skillnader mellan OpenAI- och Azure OpenAI GPT-4 Turbo GA-modeller

OpenAI:s version av den senaste 0409 turbomodellen stöder JSON-läge och funktionsanrop för alla slutsatsdragningsbegäranden.
Azure OpenAI:s version av den senaste turbo-2024-04-09 stöder för närvarande inte användning av JSON-läge och funktionsanrop när du gör slutsatsdragningsbegäranden med bildindata (vision). Textbaserade indatabegäranden (begäranden utan image_url och infogade bilder) stöder JSON-läge och funktionsanrop.

Skillnader från gpt-4 vision-preview

Integrering av Azure AI-specifika visionsförbättringar med GPT-4 Turbo med Vision stöds inte för gpt-4version:turbo-2024-04-09. Detta inkluderar optisk teckenigenkänning (OCR), objekt grounding, video prompts och förbättrad hantering av dina data med bilder.

GPT-4 Turbo-etablerad hanterad tillgänglighet

gpt-4Version:turbo-2024-04-09 är tillgänglig för både standarddistributioner och etablerade distributioner. Den etablerade versionen av den här modellen stöder för närvarande inte begäranden om bild-/syninferens. Etablerade distributioner av den här modellen accepterar endast textinmatning. Standardmodelldistributioner accepterar både begäranden om text- och bild-/visionsinferens.

Region tillgänglighet

Information om regional tillgänglighet för modeller finns i modellmatrisen för standarddistributioner och etablerade distributioner.

Distribuera GPT-4 Turbo med Vision GA

Om du vill distribuera GA-modellen från Studio-användargränssnittet väljer du GPT-4 och väljer turbo-2024-04-09 sedan versionen på den nedrullningsbara menyn. Standardkvoten för gpt-4-turbo-2024-04-09 modellen är samma som den aktuella kvoten för GPT-4-Turbo. Se de regionala kvotgränserna.

Börja utforska GPT-4 Turbo med visionsfunktioner med en metod utan kod via Azure OpenAI Studio.

Förutsättningar

En Azure-prenumeration. Skapa en kostnadsfritt.
Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret på https://aka.ms/oai/access. Öppna ett problem på den här lagringsplatsen för att kontakta oss om du har ett problem.
En Azure OpenAI Service-resurs med en GPT-4 Turbo med Vision-modell distribuerad. Se GPT-4- och GPT-4 Turbo Preview-modelltillgänglighet för tillgängliga regioner. Mer information om hur du skapar resurser finns i guiden för resursdistribution.
För visionsförbättring (valfritt): En Azure-Visuellt innehåll resurs i samma region som din Azure OpenAI-resurs på den betalda nivån (S1).

Kommentar

Det stöds för närvarande inte att inaktivera innehållsfiltrering för GPT-4 Turbo med Vision-modellen.

Gå till Azure OpenAI Studio

Bläddra till Azure OpenAI Studio och logga in med de autentiseringsuppgifter som är associerade med din Azure OpenAI-resurs. Under eller efter inloggningsarbetsflödet väljer du lämplig katalog, Azure-prenumeration och Azure OpenAI-resurs.

Under Hantering väljer du Distributioner och Skapa en GPT-4 Turbo med Vision-distribution genom att välja modellnamn: "gpt-4" och modellversionen "vision-preview". Mer information om distributionsmodellerna finns i Förstå distributionsmodeller.

Under avsnittet Playground väljer du Chatt.

Lekplats

Från den här sidan kan du snabbt iterera och experimentera med modellens funktioner.

Allmän hjälp med assistentkonfiguration, chattsessioner, inställningar och paneler finns i snabbstarten Chatt.

Starta en chattsession för att analysera bilder eller video

I den här chattsessionen instruerar du assistenten att hjälpa dig att förstå bilder som du matar in.

Börja genom att välja din GPT-4 Turbo med Vision-distribution från listrutan.
I fönstret Assistentkonfiguration anger du ett systemmeddelande som vägleder assistenten. Standardmeddelandet för system är: "Du är en AI-assistent som hjälper människor att hitta information." Du kan anpassa systemmeddelandet till den bild eller det scenario som du laddar upp.

Kommentar

Vi rekommenderar att du uppdaterar systemmeddelandet så att det är specifikt för uppgiften för att undvika ohjälpsamma svar från modellen.
Spara ändringarna och välj Fortsätt när du uppmanas att bekräfta uppdateringen av systemmeddelandet.
I fönstret Chattsession anger du en textprompt som "Beskriv den här bilden" och laddar upp en bild med knappen bifogad fil. Du kan använda en annan textprompt för ditt användningsfall. Välj sedan Skicka.
Observera de angivna utdata. Överväg att ställa uppföljningsfrågor som rör analysen av din bild för att lära dig mer.

Rensa resurser

Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Om du tar bort resursgruppen tas även alla andra resurser som är associerade med den bort.

Använd den här artikeln för att komma igång med Azure OpenAI REST API:er för att distribuera och använda GPT-4 Turbo med Vision-modellen.

Förutsättningar

En Azure-prenumeration. Skapa en kostnadsfritt.
Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret på https://aka.ms/oai/access. Öppna ett problem på den här lagringsplatsen för att kontakta oss om du har ett problem.
Python 3.8 eller senare version.
Följande Python-bibliotek: requests, json.
En Azure OpenAI Service-resurs med en GPT-4 Turbo med Vision-modell distribuerad. Se GPT-4- och GPT-4 Turbo Preview-modelltillgänglighet för tillgängliga regioner. Mer information om hur du skapar resurser finns i guiden för resursdistribution.
För visionsförbättring (valfritt): En Azure-Visuellt innehåll resurs i samma region som din Azure OpenAI-resurs på den betalda nivån (S1).

Kommentar

Det stöds för närvarande inte att inaktivera innehållsfiltrering för GPT-4 Turbo med Vision-modellen.

Hämta nyckel och slutpunkt

Om du vill anropa Azure OpenAI-API:erna behöver du följande information om din Azure OpenAI-resurs:

Olika	Name	Värde
Slutpunkt	`api_base`	Slutpunktsvärdet finns under Nycklar och slutpunkt för din resurs i Azure-portalen. Du kan också hitta värdet i kodvyn: Azure OpenAI Studio>Playground>Code View. En exempelslutpunkt är: `https://docs-test-001.openai.azure.com/`.
Tangent	`api_key`	Nyckelvärdet finns också under Nycklar och slutpunkt för din resurs i Azure-portalen. Azure genererar två nycklar för din resurs. Du kan använda något av värdena.

Gå till din resurs i Azure-portalen. I navigeringsfönstret väljer du Nycklar och slutpunkt under Resurshantering. Kopiera slutpunktsvärdet och ett åtkomstnyckelvärde. Du kan använda antingen värdet KEY 1 eller KEY 2 . Med två nycklar kan du rotera och återskapa nycklar på ett säkert sätt utan att orsaka avbrott i tjänsten.

Skapa ett nytt Python-program

Skapa en ny Python-fil med namnet quickstart.py. Öppna den nya filen i önskad redigerare eller IDE.

Ersätt innehållet i quickstart.py med följande kod.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
data = { 
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Gör följande ändringar:
1. Ange din slutpunkts-URL och nyckel i lämpliga fält.
2. Ange ditt GPT-4 Turbo med visionens distributionsnamn i lämpligt fält.
3. Ändra värdet för fältet "image" till URL:en för din bild.
  
  Dricks
  
  Du kan också använda grundläggande 64-kodade bilddata i stället för en URL. Mer information finns i guiden GPT-4 Turbo med vision.
Kör programmet med python kommandot :
```
python quickstart.py
```

GPT-4 Turbo with Vision ger exklusiv åtkomst till skräddarsydda förbättringar i Azure AI Services. I kombination med Azure AI Vision förbättrar det din chattupplevelse genom att tillhandahålla chattmodellen med mer detaljerad information om synlig text i bilden och objektens platser.

Med ocr-integreringen (Optisk teckenigenkänning) kan modellen producera svar av högre kvalitet för tät text, transformerade bilder och taltunga finansiella dokument. Det omfattar också ett bredare spektrum av språk.

Integreringen av objekt grounding ger ett nytt lager till dataanalys och användarinteraktion, eftersom funktionen visuellt kan skilja och markera viktiga element i de bilder som den bearbetar.

Varning

Azure AI-förbättringar för GPT-4 Turbo with Vision faktureras separat från kärnfunktionerna. Varje specifik Azure AI-förbättring för GPT-4 Turbo med Vision har sina egna distinkta avgifter. Mer information finns i den särskilda prisinformationen.

Ersätt innehållet i quickstart.py med följande kod.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/extensions/chat/completions?api-version=2023-12-01-preview" 
data = {
    "model": "gpt-4-vision-preview",
    "enhancements": {
        "ocr": {
          "enabled": True
        },
        "grounding": {
          "enabled": True
        }
    },
    "dataSources": [
    {
        "type": "AzureComputerVision",
        "parameters": {
            "endpoint": "<your_computer_vision_endpoint>",
            "key": "<your_computer_vision_key>"
        }
    }],
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", 
        "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url", 
                "image_url": {
                    "url" : "<image URL>"
                }
            }
        ]} 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Gör följande ändringar:
1. Ange ditt GPT-4 Turbo med visionens distributionsnamn i lämpligt fält.
2. Ange din Visuellt innehåll slutpunkts-URL och nyckel i lämpliga fält.
3. Ändra värdet för fältet "image" till URL:en för din bild.
  
  Dricks
  
  Du kan också använda grundläggande 64-kodade bilddata i stället för en URL. Mer information finns i guiden GPT-4 Turbo med vision.
Kör programmet med python kommandot :
```
python quickstart.py
```

Rensa resurser

Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Om du tar bort resursgruppen tas även alla andra resurser som är associerade med den bort.

Använd den här artikeln för att komma igång med Azure OpenAI Python SDK för att distribuera och använda GPT-4 Turbo med Vision-modellen.

Paket för bibliotekskällkod | (PyPi) |

Förutsättningar

En Azure-prenumeration. Skapa en kostnadsfritt.
Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret på https://aka.ms/oai/access. Öppna ett problem på den här lagringsplatsen för att kontakta oss om du har ett problem.
Python 3.8 eller senare version.
Följande Python-bibliotek: os
En Azure OpenAI Service-resurs med en GPT-4 Turbo med Vision-modell distribuerad. Se GPT-4- och GPT-4 Turbo Preview-modelltillgänglighet för tillgängliga regioner. Mer information om hur du skapar resurser finns i guiden för resursdistribution.
För visionsförbättring (valfritt): En Azure-Visuellt innehåll resurs i samma region som din Azure OpenAI-resurs på den betalda nivån (S1).

Konfigurera

Installera OpenAI Python-klientbiblioteket med:

pip install openai

Kommentar

Det här biblioteket underhålls av OpenAI och är för närvarande i förhandsversion. Se versionshistoriken eller version.py incheckningshistorik för att spåra de senaste uppdateringarna i biblioteket.

Hämta nyckel och slutpunkt

Om du vill göra ett anrop mot Azure OpenAI behöver du en slutpunkt och en nyckel.

Variabelnamn	Värde
`ENDPOINT`	Det här värdet finns i avsnittet Nycklar och slutpunkt när du undersöker resursen från Azure-portalen. Du kan också hitta värdet i Azure OpenAI Studio>Playground Code>View. En exempelslutpunkt är: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Det här värdet finns i avsnittet Nycklar och slutpunkt när du undersöker resursen från Azure-portalen. Du kan använda antingen `KEY1` eller `KEY2`.

Gå till din resurs i Azure-portalen. Avsnittet Nycklar och slutpunkter finns i avsnittet Resurshantering . Kopiera slutpunkten och åtkomstnyckeln eftersom du behöver båda för att autentisera dina API-anrop. Du kan använda antingen KEY1 eller KEY2. Om du alltid har två nycklar kan du rotera och återskapa nycklar på ett säkert sätt utan att orsaka avbrott i tjänsten.

Miljövariabler

Skapa och tilldela beständiga miljövariabler för din nyckel och slutpunkt.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Skapa ett nytt Python-program

Skapa en ny Python-fil med namnet quickstart.py. Öppna den nya filen i önskad redigerare eller IDE.

Ersätt innehållet i quickstart.py med följande kod.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}"
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    max_tokens=2000 
)

print(response)

Gör följande ändringar:
1. Ange namnet på din GPT-4 Turbo med Vision-distribution i lämpligt fält.
2. Ändra värdet för fältet "url" till URL:en för din bild.
  
  Dricks
  
  Du kan också använda grundläggande 64-kodade bilddata i stället för en URL. Mer information finns i guiden GPT-4 Turbo med vision.
Kör programmet med python kommandot :
```
python quickstart.py
```

Integreringen av objekt grounding ger ett nytt lager till dataanalys och användarinteraktion, eftersom funktionen visuellt kan skilja och markera viktiga element i de bilder som den bearbetar.

Varning

Ersätt innehållet i quickstart.py med följande kod.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}/extensions",
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    extra_body={
        "dataSources": [
            {
                "type": "AzureComputerVision",
                "parameters": {
                    "endpoint": "<your_computer_vision_endpoint>",
                    "key": "<your_computer_vision_key>"
                }
            }],
        "enhancements": {
            "ocr": {
                "enabled": True
            },
            "grounding": {
                "enabled": True
            }
        }
    },
    max_tokens=2000
)

print(response)

Gör följande ändringar:
1. Ange ditt GPT-4 Turbo med visionens distributionsnamn i lämpligt fält.
2. Ange din Visuellt innehåll slutpunkts-URL och nyckel i lämpliga fält.
3. Ändra värdet för fältet "url" till URL:en för din bild.
  
  Dricks
  
  Du kan också använda grundläggande 64-kodade bilddata i stället för en URL. Mer information finns i guiden GPT-4 Turbo med vision.
Kör programmet med python kommandot :
```
python quickstart.py
```

Rensa resurser

Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Om du tar bort resursgruppen tas även alla andra resurser som är associerade med den bort.

Nästa steg

Läs mer om dessa API:er i guiden GPT-4 Turbo with Vision
Vanliga frågor och svar om GPT-4 Turbo med Vision
GPT-4 Turbo med Vision API-referens

Snabbstart: Använda bilder i dina AI-chattar

GPT-4 Turbo-modelluppgradering

Skillnader mellan OpenAI- och Azure OpenAI GPT-4 Turbo GA-modeller

Skillnader från gpt-4 vision-preview

GPT-4 Turbo-etablerad hanterad tillgänglighet

Region tillgänglighet

Distribuera GPT-4 Turbo med Vision GA

Förutsättningar

Gå till Azure OpenAI Studio

Lekplats

Starta en chattsession för att analysera bilder eller video

Rensa resurser

Förutsättningar

Hämta nyckel och slutpunkt

Skapa ett nytt Python-program

Rensa resurser

Förutsättningar

Konfigurera

Hämta nyckel och slutpunkt

Miljövariabler

Skapa ett nytt Python-program

Rensa resurser

Nästa steg

Ytterligare resurser