Rövid útmutató: Képek használata AI-csevegésekben

A GPT-4 Turbo használatának első lépései képeken az Azure OpenAI szolgáltatással.

GPT-4 Turbo modell frissítése

A GPT-4 Turbo legújabb GA kiadása a következő:

• gpt-4Verzió:turbo-2024-04-09

Ez a következő előzetes modellek lecserélése:

• gpt-4Verzió:1106-Preview
• gpt-4Verzió:0125-Preview
• gpt-4Verzió:vision-preview

Az OpenAI és az Azure OpenAI GPT-4 Turbo GA modellek közötti különbségek

• Az OpenAI legújabb 0409 turbómodell verziója támogatja a JSON módot és a függvényeket, amelyek minden következtetési kérést meghívnak.
• Az Azure OpenAI legújabb turbo-2024-04-09 verziója jelenleg nem támogatja a JSON mód és a függvényhívás használatát, amikor következtetési kérelmeket készít képi (vision) bemenettel. A szövegalapú bemeneti kérések (képek nélküli image_url és beágyazott kérések) támogatják a JSON-módot és a függvényhívást.

Különbségek a gpt-4 vision-preview-tól

• Az Azure AI-specifikus Vision-fejlesztések a GPT-4 Turbo és a Vision integrációját nem támogatják a gpt-4Verzió:turbo-2024-04-09. Ez magában foglalja az optikai karakterfelismerést (OCR), az objektumok földelését, a videoüzeneteket és az adatok képekkel való jobb kezelését.

GPT-4 Turbo kiosztott felügyelt rendelkezésre állás

• gpt-4Verzió:turbo-2024-04-09 standard és kiépített üzemelő példányokhoz is elérhető. A modell kiépített verziója jelenleg nem támogatja a kép-/látásbeli következtetési kérelmeket. A modell kiépített üzembe helyezései csak szöveges bemeneteket fogadnak el. A standard modelltelepítések szöveges és képi/látási következtetési kéréseket is elfogadnak.

Régiónkénti elérhetőség

A modell regionális elérhetőségével kapcsolatos információkért tekintse meg a standard és a kiépített üzemelő példányok modellmátrixát.

A GPT-4 Turbo üzembe helyezése a Vision GA-val

Ha a GA-modellt a Studio felhasználói felületén szeretné üzembe helyezni, válassza ki GPT-4 , majd válassza ki a turbo-2024-04-09 verziót a legördülő menüből. A modell alapértelmezett kvótája megegyezik a gpt-4-turbo-2024-04-09 GPT-4-Turbo jelenlegi kvótával. Tekintse meg a regionális kvótakorlátokat.

Kezdje el felfedezni a GPT-4 Turbo-t a Vision képességeivel kód nélküli megközelítéssel az Azure OpenAI Studióban.

Előfeltételek

• Azure-előfizetés. Hozzon létre egyet ingyen.
• A hozzáférést az Azure OpenAI a kívánt Azure-előfizetésen belül kapja meg. Ezen szolgáltatáshoz jelenleg csak alkalmazás útján kapható hozzáférés. Az Azure OpenAI-hoz való hozzáférésre a következő https://aka.ms/oai/accessűrlap kitöltésével jelentkezhet: . Ha probléma merül fel, nyisson meg egy hibát az adattárban, és lépjen velünk kapcsolatba.
• Egy Azure OpenAI-szolgáltatáserőforrás egy GPT-4 Turbo és Vision-modell üzembe helyezésével. Tekintse meg a GPT-4 és a GPT-4 Turbo Preview modell rendelkezésre állását az elérhető régiókban. Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.
• A Vision fejlesztése (nem kötelező): Egy Azure Computer Vision-erőforrás az Azure OpenAI-erőforrással azonos régióban, fizetős (S1) szinten.

Feljegyzés

Jelenleg nem támogatott a GPT-4 Turbo és a Vision modell tartalomszűrése.

Ugrás az Azure OpenAI Studióra

Keresse meg az Azure OpenAI Studiót , és jelentkezzen be az Azure OpenAI-erőforráshoz társított hitelesítő adatokkal. A bejelentkezési munkafolyamat során vagy után válassza ki a megfelelő könyvtárat, Azure-előfizetést és Azure OpenAI-erőforrást.

A Felügyelet területen válassza az Üzemelő példányok lehetőséget, és hozzon létre egy GPT-4 Turbo-t a Vision üzembe helyezésével a következő modellnév kiválasztásával: "gpt-4" és "vision-preview" modellverzió. A modellek üzembe helyezéséről a modellek üzembe helyezésének ismertetőjében talál további információt.

A Játszótér szakaszban válassza a Csevegés lehetőséget.

Játszótér

Ezen a lapon gyorsan iterálhat és kísérletezhet a modell képességeivel.

Az asszisztensek beállításával, a csevegési munkamenetekkel, a beállításokkal és a panelekkel kapcsolatos általános segítségért tekintse meg a csevegési rövid útmutatót.

Csevegés indítása képek vagy videók elemzéséhez

Képkérések

Ebben a csevegésben arra utasítja az asszisztenst, hogy segítsen megérteni a beírt képeket.

1. Első lépésként válassza ki a GPT-4 Turbo with Vision üzembe helyezést a legördülő listában.

2. A Segéd beállítási paneljén adjon meg egy rendszerüzenetet az asszisztens irányításához. Az alapértelmezett rendszerüzenet a következő: "Ön egy AI-asszisztens, amely segít a felhasználóknak az információk megtalálásában." A rendszerüzenetet a feltölteni kívánt képhez vagy forgatókönyvhöz igazíthatja.

   Feljegyzés

   Javasoljuk, hogy frissítse a rendszerüzenetet úgy, hogy az a feladatra jellemző legyen, hogy elkerülje a modellből érkező nem hasznos válaszokat.

3. Mentse a módosításokat, és amikor a rendszerüzenet frissítésének megerősítésére kéri, válassza a Folytatás lehetőséget.

4. A Csevegési munkamenet panelen írjon be egy szöveges üzenetet, például :"A kép leírása", és töltsön fel egy képet a melléklet gombbal. A használati esethez másik szöveges kérést is használhat. Ezután válassza a Küldés lehetőséget.

5. Figyelje meg a megadott kimenetet. További információért érdemes lehet további kérdéseket feltenni a kép elemzésével kapcsolatban.

Képkérés fejlesztései

A GPT-4 Turbo with Vision kizárólagos hozzáférést biztosít az Azure AI Services személyre szabott fejlesztéseihez. Az Azure AI Vision-lel kombinálva javítja a csevegési élményt azáltal, hogy részletesebb információkat nyújt a csevegési modellnek a képen látható szövegről és az objektumok helyéről.

Az optikai karakterfelismerés (OCR) integrációja lehetővé teszi a modell számára, hogy jobb minőségű válaszokat állítsunk elő a sűrű szöveghez, az átalakított képekhez és a nehéz pénzügyi dokumentumokhoz. Emellett a nyelvek szélesebb körét is lefedi.

Az objektum-földelés integrációja új réteget hoz az adatelemzéshez és a felhasználói interakcióhoz, mivel a funkció vizuálisan megkülönbözteti és kiemeli az általa feldolgozott képek fontos elemeit.

Figyelemfelhívás

A GPT-4 Turbo és a Vision Azure AI-fejlesztései a fő funkcióktól elkülönítve lesznek számlázva. A GPT-4 Turbo és a Vision egyes Azure AI-fejlesztései külön díjakkal bírnak. További részletekért tekintse meg a speciális díjszabási információkat.

Ebben a csevegésben kipróbálja a továbbfejlesztett Vision-modell képességeit.

1. Első lépésként válassza ki a GPT-4 Turbo with Vision üzembe helyezést a legördülő listában.

2. A csevegési felület jobb oldalán található Konfiguráció lapon kapcsolja be a Vision beállítását a Fejlesztések szakaszban.

3. A továbbfejlesztett Vision API kipróbálásához ki kell választania egy Computer Vision-erőforrást. Válassza ki az erőforrást, és mentse.

4. A Segéd beállítási paneljén adjon meg egy rendszerüzenetet az asszisztens irányításához. Az alapértelmezett rendszerüzenet a következő: "Ön egy AI-asszisztens, amely segít a felhasználóknak az információk megtalálásában." A rendszerüzenetet a feltölteni kívánt képhez vagy forgatókönyvhöz igazíthatja.

   Feljegyzés

   Javasoljuk, hogy frissítse a rendszerüzenetet úgy, hogy az a feladatra jellemző legyen, hogy elkerülje a modellből érkező nem hasznos válaszokat.

5. Mentse a módosításokat, és amikor a rendszerüzenet frissítésének megerősítésére kéri, válassza a Folytatás lehetőséget.

6. A Csevegési munkamenet panelen írjon be egy szöveges üzenetet, például :"A kép leírása", és töltsön fel egy képet a melléklet gombbal. A használati esethez másik szöveges kérést is használhat. Ezután válassza a Küldés lehetőséget.

7. A kép látható szövegéről és az objektumok helyéről részletesebb információkat tartalmazó választ kell kapnia. További információért érdemes lehet további kérdéseket feltenni a kép elemzésével kapcsolatban.

Videoüzenetek fejlesztései

A GPT-4 Turbo with Vision kizárólagos hozzáférést biztosít az Azure AI Services személyre szabott fejlesztéseihez. A videoüzenetek integrációja az Azure AI Vision videólekérésével mintát vesz egy videó kereteiből, és létrehozza a beszéd átiratát a videóban. Lehetővé teszi az AI-modell számára, hogy összefoglalókat és válaszokat adjon a videótartalmakról.

Figyelemfelhívás

A GPT-4 Turbo és a Vision Azure AI-fejlesztései a fő funkcióktól elkülönítve lesznek számlázva. A GPT-4 Turbo és a Vision egyes Azure AI-fejlesztései külön díjakkal bírnak. További részletekért tekintse meg a speciális díjszabási információkat.

1. Első lépésként válassza ki a GPT-4 Turbo with Vision üzembe helyezést a legördülő listában.

2. A csevegési felület jobb oldalán található Konfiguráció lapon kapcsolja be a Vision beállítását a Fejlesztések szakaszban.

3. A továbbfejlesztett Vision API kipróbálásához ki kell választania egy Computer Vision-erőforrást. Válassza ki az erőforrást, és mentse.

4. A Segéd beállítási paneljén adjon meg egy rendszerüzenetet az asszisztens irányításához. Az alapértelmezett rendszerüzenet a következő: "Ön egy AI-asszisztens, amely segít a felhasználóknak az információk megtalálásában." A rendszerüzenetet a feltölteni kívánt videóhoz vagy forgatókönyvhöz igazíthatja.

   Feljegyzés

   Javasoljuk, hogy frissítse a rendszerüzenetet úgy, hogy az a feladatra jellemző legyen, hogy elkerülje a modellből érkező nem hasznos válaszokat.

5. Mentse a módosításokat, és amikor a rendszerüzenet frissítésének megerősítésére kéri, válassza a Folytatás lehetőséget.

6. A csevegési munkamenet paneljén adjon meg egy kérdést a videóval kapcsolatban, például: "A videó részletes leírása. Fókuszban a márkák, a technológia és az emberek." A használati esethez másik szöveges kérést is használhat. Töltsön fel egy videót a melléklet gomb használatával, majd válassza a Küldés lehetőséget.

   Feljegyzés

   A csevegési játszótér jelenleg csak a 3 percnél rövidebb videókat támogatja.

7. A videót leíró választ kell kapnia. További információért érdemes lehet további kérdéseket feltenni a videó elemzésével kapcsolatban.

Az erőforrások eltávolítása

Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.

• Azure Portal
• Azure CLI

Ez a cikk az Azure OpenAI REST API-k használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.

Előfeltételek

• Azure-előfizetés. Hozzon létre egyet ingyen.
• A hozzáférést az Azure OpenAI a kívánt Azure-előfizetésen belül kapja meg. Ezen szolgáltatáshoz jelenleg csak alkalmazás útján kapható hozzáférés. Az Azure OpenAI-hoz való hozzáférésre a következő https://aka.ms/oai/accessűrlap kitöltésével jelentkezhet: . Ha probléma merül fel, nyisson meg egy hibát az adattárban, és lépjen velünk kapcsolatba.
• Python 3.8 vagy újabb verzió.
• A következő Python-kódtárak: requests, json.
• Egy Azure OpenAI-szolgáltatáserőforrás egy GPT-4 Turbo és Vision-modell üzembe helyezésével. Tekintse meg a GPT-4 és a GPT-4 Turbo Preview modell rendelkezésre állását az elérhető régiókban. Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.
• A Vision fejlesztése (nem kötelező): Egy Azure Computer Vision-erőforrás az Azure OpenAI-erőforrással azonos régióban, fizetős (S1) szinten.

Feljegyzés

Jelenleg nem támogatott a GPT-4 Turbo és a Vision modell tartalomszűrése.

Kulcs és végpont lekérése

Az Azure OpenAI API-k sikeres meghívásához az alábbi információkra van szüksége az Azure OpenAI-erőforrásról:

Változó	Név szerint	Érték
Végpont	api_base	A végpont értéke az erőforrás kulcsai és végpontja alatt található az Azure Portalon. Másik lehetőségként az értéket az Azure OpenAI Studio>Demókörnyezet>Kódnézet részen is megtalálhatja. Példavégpont: https://docs-test-001.openai.azure.com/.
Kulcs	api_key	A kulcsérték az erőforrás kulcsai és végpontja alatt is található az Azure Portalon. Az Azure két kulcsot hoz létre az erőforráshoz. Bármelyik értéket használhatja.

Nyissa meg az erőforrást az Azure Portalon. A navigációs panelen válassza a Kulcsok és végpont lehetőséget az Erőforrás-kezelés területen. Másolja ki a végpont értékét és a hozzáférési kulcs értékét. Használhatja a KEY 1 vagy a KEY 2 értéket. A két kulcs lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okozzon.

Új Python-alkalmazás létrehozása

Hozzon létre egy quickstart.py nevű új Python-fájlt. Nyissa meg az új fájlt az előnyben részesített szerkesztőben vagy IDE-ben.

Képkérések

1. Cserélje le a quickstart.py tartalmát a következő kódra.

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
   data = { 
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. Hajtsa végre a következő módosításokat:

   1. Adja meg a végpont URL-címét és kulcsát a megfelelő mezőkben.

   2. Adja meg a GPT-4 Turbo és a Vision üzembe helyezési nevét a megfelelő mezőben.

   3. Módosítsa a "image" mező értékét a kép URL-címére.

      Tipp.

      URL-cím helyett használhat 64-es alapkódolt képadatokat is. További információ: GPT-4 Turbo with Vision útmutató.

3. Futtassa az alkalmazást a python következő paranccsal:

   python quickstart.py
   

Képkérés fejlesztései

A GPT-4 Turbo with Vision kizárólagos hozzáférést biztosít az Azure AI Services személyre szabott fejlesztéseihez. Az Azure AI Vision-lel kombinálva javítja a csevegési élményt azáltal, hogy részletesebb információkat nyújt a csevegési modellnek a képen látható szövegről és az objektumok helyéről.

Az optikai karakterfelismerés (OCR) integrációja lehetővé teszi a modell számára, hogy jobb minőségű válaszokat állítsunk elő a sűrű szöveghez, az átalakított képekhez és a nehéz pénzügyi dokumentumokhoz. Emellett a nyelvek szélesebb körét is lefedi.

Az objektum-földelés integrációja új réteget hoz az adatelemzéshez és a felhasználói interakcióhoz, mivel a funkció vizuálisan megkülönbözteti és kiemeli az általa feldolgozott képek fontos elemeit.

Figyelemfelhívás

A GPT-4 Turbo és a Vision Azure AI-fejlesztései a fő funkcióktól elkülönítve lesznek számlázva. A GPT-4 Turbo és a Vision egyes Azure AI-fejlesztései külön díjakkal bírnak. További részletekért tekintse meg a speciális díjszabási információkat.

1. Cserélje le a quickstart.py tartalmát a következő kódra.

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/extensions/chat/completions?api-version=2023-12-01-preview" 
   data = {
       "model": "gpt-4-vision-preview",
       "enhancements": {
           "ocr": {
             "enabled": True
           },
           "grounding": {
             "enabled": True
           }
       },
       "dataSources": [
       {
           "type": "AzureComputerVision",
           "parameters": {
               "endpoint": "<your_computer_vision_endpoint>",
               "key": "<your_computer_vision_key>"
           }
       }],
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", 
           "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url", 
                   "image_url": {
                       "url" : "<image URL>"
                   }
               }
           ]} 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. Hajtsa végre a következő módosításokat:

   1. Adja meg a GPT-4 Turbo és a Vision üzembe helyezési nevét a megfelelő mezőben.
   2. Adja meg a Computer Vision-végpont URL-címét és kulcsát a megfelelő mezőkben.
   3. Módosítsa a "image" mező értékét a kép URL-címére.

      Tipp.

      URL-cím helyett használhat 64-es alapkódolt képadatokat is. További információ: GPT-4 Turbo with Vision útmutató.

3. Futtassa az alkalmazást a python következő paranccsal:

   python quickstart.py
   

Videoüzenetek fejlesztései

A videóalapú integráció nem tartozik a rövid útmutató hatókörébe. A GPT-4 Turbo with Vision útmutatójában részletes útmutatást talál a videóüzenetek beállításához a csevegések befejezéséhez programozott módon.

Az erőforrások eltávolítása

Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.

• Azure Portal
• Azure CLI

Ez a cikk az Azure OpenAI Python SDK használatának első lépéseit ismerteti a GPT-4 Turbo és a Vision modell üzembe helyezéséhez és használatához.

Kódtár forráskódcsomagja | (PyPi) |

Előfeltételek

• Azure-előfizetés. Hozzon létre egyet ingyen.
• A hozzáférést az Azure OpenAI a kívánt Azure-előfizetésen belül kapja meg. Ezen szolgáltatáshoz jelenleg csak alkalmazás útján kapható hozzáférés. Az Azure OpenAI-hoz való hozzáférésre a következő https://aka.ms/oai/accessűrlap kitöltésével jelentkezhet: . Ha probléma merül fel, nyisson meg egy hibát az adattárban, és lépjen velünk kapcsolatba.
• Python 3.8 vagy újabb verzió.
• A következő Python-kódtárak: os
• Egy Azure OpenAI-szolgáltatáserőforrás egy GPT-4 Turbo és Vision-modell üzembe helyezésével. Tekintse meg a GPT-4 és a GPT-4 Turbo Preview modell rendelkezésre állását az elérhető régiókban. Az erőforrás-létrehozással kapcsolatos további információkért tekintse meg az erőforrás-üzembe helyezési útmutatót.
• A Vision fejlesztése (nem kötelező): Egy Azure Computer Vision-erőforrás az Azure OpenAI-erőforrással azonos régióban, fizetős (S1) szinten.

Beállítás

Telepítse az OpenAI Python ügyfélkódtárat a következőkkel:

pip install openai

Feljegyzés

Ezt a tárat az OpenAI tartja karban, és jelenleg előzetes verzióban érhető el. A kódtár legújabb frissítéseinek nyomon követéséhez tekintse meg a kiadási előzményeket vagy a version.py véglegesítési előzményeit.

Kulcs és végpont lekérése

Az Azure OpenAI-ra való sikeres híváshoz egy végpontra és egy kulcsra van szükség.

Változó neve	Érték
ENDPOINT	Ez az érték a Kulcsok és végpont szakaszban található meg, amikor megvizsgálja az erőforrást az Azure Portalon. Az értéket az Azure OpenAI Studio>Playground>Code nézetben is megtalálhatja. Példavégpont: https://docs-test-001.openai.azure.com/.
API-KEY	Ez az érték a Kulcsok és végpont szakaszban található meg, amikor megvizsgálja az erőforrást az Azure Portalon. A következők bármelyikét használhatja: KEY1 vagy KEY2.

Nyissa meg az erőforrást az Azure Portalon. A Kulcsok > végpont szakasz az Erőforrás-kezelés szakaszban található. Másolja ki a végpontot és a hozzáférési kulcsot, mivel mindkettőre szüksége lesz az API-hívások hitelesítéséhez. A következők bármelyikét használhatja: KEY1 vagy KEY2. A két kulcs mindig lehetővé teszi a kulcsok biztonságos elforgatását és újragenerálását anélkül, hogy szolgáltatáskimaradást okoz.

Környezeti változók

Állandó környezeti változók létrehozása és hozzárendelése a kulcshoz és a végponthoz.

Parancssor

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

PowerShell

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

Bash

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Új Python-alkalmazás létrehozása

Hozzon létre egy quickstart.py nevű új Python-fájlt. Nyissa meg az új fájlt az előnyben részesített szerkesztőben vagy IDE-ben.

Képkérések

1. Cserélje le a quickstart.py tartalmát a következő kódra.

   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}"
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       max_tokens=2000 
   )
   
   print(response)
   

2. Hajtsa végre a következő módosításokat:

   1. Adja meg a GPT-4 Turbo és a Vision üzembe helyezés nevét a megfelelő mezőben.
   2. Módosítsa a "url" mező értékét a kép URL-címére.

      Tipp.

      URL-cím helyett használhat 64-es alapkódolt képadatokat is. További információ: GPT-4 Turbo with Vision útmutató.

3. Futtassa az alkalmazást a python következő paranccsal:

   python quickstart.py
   

Képkérés fejlesztései

A GPT-4 Turbo with Vision kizárólagos hozzáférést biztosít az Azure AI Services személyre szabott fejlesztéseihez. Az Azure AI Vision-lel kombinálva javítja a csevegési élményt azáltal, hogy részletesebb információkat nyújt a csevegési modellnek a képen látható szövegről és az objektumok helyéről.

Az optikai karakterfelismerés (OCR) integrációja lehetővé teszi a modell számára, hogy jobb minőségű válaszokat állítsunk elő a sűrű szöveghez, az átalakított képekhez és a nehéz pénzügyi dokumentumokhoz. Emellett a nyelvek szélesebb körét is lefedi.

Az objektum-földelés integrációja új réteget hoz az adatelemzéshez és a felhasználói interakcióhoz, mivel a funkció vizuálisan megkülönbözteti és kiemeli az általa feldolgozott képek fontos elemeit.

Figyelemfelhívás

A GPT-4 Turbo és a Vision Azure AI-fejlesztései a fő funkcióktól elkülönítve lesznek számlázva. A GPT-4 Turbo és a Vision egyes Azure AI-fejlesztései külön díjakkal bírnak. További részletekért tekintse meg a speciális díjszabási információkat.

1. Cserélje le a quickstart.py tartalmát a következő kódra.

   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}/extensions",
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       extra_body={
           "dataSources": [
               {
                   "type": "AzureComputerVision",
                   "parameters": {
                       "endpoint": "<your_computer_vision_endpoint>",
                       "key": "<your_computer_vision_key>"
                   }
               }],
           "enhancements": {
               "ocr": {
                   "enabled": True
               },
               "grounding": {
                   "enabled": True
               }
           }
       },
       max_tokens=2000
   )
   
   print(response)
   

2. Hajtsa végre a következő módosításokat:

   1. Adja meg a GPT-4 Turbo és a Vision üzembe helyezési nevét a megfelelő mezőben.
   2. Adja meg a Computer Vision-végpont URL-címét és kulcsát a megfelelő mezőkben.
   3. Módosítsa a "url" mező értékét a kép URL-címére.

      Tipp.

      URL-cím helyett használhat 64-es alapkódolt képadatokat is. További információ: GPT-4 Turbo with Vision útmutató.

3. Futtassa az alkalmazást a python következő paranccsal:

   python quickstart.py
   

Videoüzenetek fejlesztései

A videóalapú integráció nem tartozik a rövid útmutató hatókörébe. A GPT-4 Turbo with Vision útmutatójában részletes útmutatást talál a videóüzenetek beállításához a csevegések befejezéséhez programozott módon.

Az erőforrások eltávolítása

Ha törölni és eltávolítani szeretne egy Azure OpenAI-erőforrást, törölheti az erőforrást vagy az erőforráscsoportot. Az erőforráscsoport törlése a hozzá társított egyéb erőforrásokat is törli.

• Azure Portal
• Azure CLI

Következő lépések

• További információ ezekről az API-król a GPT-4 Turbo és a Vision útmutatójában
• GPT-4 Turbo és Vision – gyakori kérdések
• GPT-4 Turbo És Vision API-referencia