快速入門:在您的 AI 聊天中使用影像
透過 Azure OpenAI Studio 開始探索具有視覺功能的 GPT-4 Turbo 與無程式碼方法。
必要條件
- Azure 訂用帳戶。 免費建立一個。
- 在所需的 Azure 訂用帳戶中授與 Azure OpenAI 的存取權。 目前只有應用程式會授予此服務的存取權。 您可以填妥 https://aka.ms/oai/access 的表單,以申請 Azure OpenAI 的存取權。 如有問題,請在此存放庫中提出問題來與我們連絡。
- 已部署具有 GPT-4 Turbo 與視覺模型的 Azure OpenAI 服務資源。 如需可用區域,請參閱 GPT-4 和 GPT-4 Turbo Preview 模型可用性 。 如需資源建立的詳細資訊,請參閱 資源部署指南。
- 針對視覺增強功能(選擇性):Azure 電腦視覺 資源位於與 Azure OpenAI 資源位於付費 (S1) 層相同的區域中。
注意
目前不支持關閉具有視覺模型的 GPT-4 Turbo 內容篩選。
移至 Azure OpenAI Studio
瀏覽至 [Azure OpenAI Studio] 並使用與您 Azure OpenAI 資源相關聯的認證來登入。 在登入工作流程期間 (或之後),選取適當的目錄、Azure 訂用帳戶和 Azure OpenAI 資源。
在 [管理] 下,選取 [部署] 並選取 [使用視覺部署建立 GPT-4 Turbo],方法是選取模型名稱:“gpt-4” 和模型版本 “vision-preview”。 如需模型部署的詳細資訊,請參閱資源部署指南。
在 [ 遊樂場] 區段底下,選取 [ 聊天]。
操場
從此頁面,您可以快速反覆運算並實驗模型的功能。
如需助理設定、聊天會話、設定和面板的一般協助,請參閱 聊天快速入門。
開始聊天工作階段以分析影像或影片
在此聊天會話中,您會指示助理協助您了解您輸入的影像。
若要開始,請從下拉式清單中選取您的 GPT-4 Turbo with Vision 部署。
在 [ 小幫手設定 ] 窗格中,提供系統訊息來引導小幫手。 默認系統訊息為:「您是可協助人員尋找資訊的 AI 助理」。您可以將系統訊息量身打造為您上傳的影像或案例。
注意
建議將系統訊息更新為工作專屬,以避免模型的無幫助回應。
儲存您的變更,並在系統提示確認更新系統訊息時,選取 [ 繼續]。
在 [ 聊天會話 ] 窗格中,輸入文字提示,例如「描述此影像」,然後上傳含有附件按鈕的影像。 您可以針對使用案例使用不同的文字提示。 然後選取傳送。
觀察提供的輸出。 請考慮詢問與影像分析相關的後續問題,以深入瞭解。
清除資源
如果您想要清除和移除 Azure OpenAI 資源,則可以刪除資源或資源群組。 刪除資源群組也會刪除與其相關聯的任何其他資源。
使用本文開始使用 Azure OpenAI REST API 來部署和使用 GPT-4 Turbo 搭配視覺模型。
必要條件
- Azure 訂用帳戶。 免費建立一個。
- 在所需的 Azure 訂用帳戶中授與 Azure OpenAI 的存取權。 目前只有應用程式會授予此服務的存取權。 您可以填妥 https://aka.ms/oai/access 的表單,以申請 Azure OpenAI 的存取權。 如有問題,請在此存放庫中提出問題來與我們連絡。
- Python 3.8 或更新版本。
- 下列 Python 連結庫:
requests
、json
。 - 已部署具有 GPT-4 Turbo 與視覺模型的 Azure OpenAI 服務資源。 如需可用區域,請參閱 GPT-4 和 GPT-4 Turbo Preview 模型可用性 。 如需資源建立的詳細資訊,請參閱 資源部署指南。
- 針對視覺增強功能(選擇性):Azure 電腦視覺 資源位於與 Azure OpenAI 資源位於付費 (S1) 層相同的區域中。
注意
目前不支持關閉具有視覺模型的 GPT-4 Turbo 內容篩選。
擷取金鑰和端點
若要成功呼叫 Azure OpenAI API,您需要有關 Azure OpenAI 資源的下列資訊:
變數 | 名稱 | 值 |
---|---|---|
端點 | api_base |
端點值位於 Azure 入口網站中資源的 [金鑰] 和 [端點]。 或者,您可以在 [Azure OpenAI Studio]>[遊樂場]>[程式碼檢視] 中找到該值。 範例端點為:https://docs-test-001.openai.azure.com/ 。 |
索引鍵 | api_key |
金鑰值同樣也位於 Azure 入口網站中資源的 [金鑰] 和 [端點]。 Azure 會為您的資源產生兩個金鑰。 您可以使用任何一者。 |
移至您在 Azure 入口網站中的資源。 在瀏覽窗格中,選取 [資源管理] 下的 [金鑰和端點]。 複製端點值和存取金鑰值。 您可以使用 KEY 1 或 KEY 2 值。 擁有兩個金鑰可讓您安全地輪替和重新產生金鑰,而不會造成服務中斷。
建立新的 Python 應用程式
建立命名為 quickstart.py 的新 Python 檔案。 在您慣用的編輯器或整合式開發環境 (IDE) 中,開啟新檔案。
將 quickstart.py 的內容取代為下列程式碼。
# Packages required: import requests import json api_base = '<your_azure_openai_endpoint>' deployment_name = '<your_deployment_name>' API_KEY = '<your_azure_openai_key>' base_url = f"{api_base}openai/deployments/{deployment_name}" headers = { "Content-Type": "application/json", "api-key": API_KEY } # Prepare endpoint, headers, and request body endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" data = { "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": [ { "type": "text", "text": "Describe this picture:" }, { "type": "image_url", "image_url": { "url": "<image URL>" } } ] } ], "max_tokens": 2000 } # Make the API call response = requests.post(endpoint, headers=headers, data=json.dumps(data)) print(f"Status Code: {response.status_code}") print(response.text)
進行下列變更:
在適當的欄位中輸入您的端點 URL 和金鑰。
在適當的欄位中,輸入您的 GPT-4 Turbo 與視覺部署名稱。
將欄位的值
"image"
變更為影像的 URL。提示
您也可以使用Base 64編碼影像數據,而不是URL。 如需詳細資訊,請參閱 GPT-4 Turbo with Vision 操作指南。
使用
python
命令執行應用程式:python quickstart.py
清除資源
如果您想要清除和移除 Azure OpenAI 資源,則可以刪除資源或資源群組。 刪除資源群組也會刪除與其相關聯的任何其他資源。
使用本文開始使用 Azure OpenAI Python SDK 來部署並使用 GPT-4 Turbo 搭配視覺模型。
必要條件
- Azure 訂用帳戶。 免費建立一個。
- 在所需的 Azure 訂用帳戶中授與 Azure OpenAI 的存取權。 目前只有應用程式會授予此服務的存取權。 您可以填妥 https://aka.ms/oai/access 的表單,以申請 Azure OpenAI 的存取權。 如有問題,請在此存放庫中提出問題來與我們連絡。
- Python 3.8 或更新版本。
- 下列 Python 連結庫:
os
- 已部署具有 GPT-4 Turbo 與視覺模型的 Azure OpenAI 服務資源。 如需可用區域,請參閱 GPT-4 和 GPT-4 Turbo Preview 模型可用性 。 如需資源建立的詳細資訊,請參閱 資源部署指南。
- 針對視覺增強功能(選擇性):Azure 電腦視覺 Azure 電腦視覺 資源與您的 Azure OpenAI 資源位於付費 (S1) 層中的相同區域。
設定
使用下列項目安裝 OpenAI Python 用戶端連結庫:
pip install openai
注意
此程式庫是由 OpenAI 維護,目前為預覽版本。 參閱版本歷程記錄或 version.py 認可歷程記錄來追蹤程式庫的最新更新。
擷取金鑰和端點
若要成功對 Azure OpenAI 進行呼叫,您需要 端點 和 密鑰。
變數名稱 | 值 |
---|---|
ENDPOINT |
從 Azure 入口網站查看您的資源時,可以在 [金鑰與端點] 區段中找到此值。 或者,您可以在 Azure OpenAI Studio遊樂場>程式代碼檢視中找到值。> 範例端點為:https://docs-test-001.openai.azure.com/ 。 |
API-KEY |
從 Azure 入口網站查看您的資源時,可以在 [金鑰與端點] 區段中找到此值。 您可以使用 KEY1 或 KEY2 。 |
移至您在 Azure 入口網站中的資源。 您可以在 [資源管理] 區段中找到 [金鑰和端點] 區段。 複製您的端點和存取金鑰,因為您需要這兩者才能驗證 API 呼叫。 您可以使用 KEY1
或 KEY2
。 隨時持有兩個金鑰可讓您安全地輪替和重新產生金鑰,而不會造成服務中斷。
環境變數
為您的金鑰和端點建立及指派永續性環境變數。
setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE"
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"
建立新的 Python 應用程式
建立命名為 quickstart.py 的新 Python 檔案。 在您慣用的編輯器或整合式開發環境 (IDE) 中,開啟新檔案。
將 quickstart.py 的內容取代為下列程式碼。
from openai import AzureOpenAI api_base = os.getenv("AZURE_OPENAI_ENDPOINT") api_key= os.getenv("AZURE_OPENAI_API_KEY") deployment_name = '<your_deployment_name>' api_version = '2023-12-01-preview' # this might change in the future client = AzureOpenAI( api_key=api_key, api_version=api_version, base_url=f"{api_base}/openai/deployments/{deployment_name}" ) response = client.chat.completions.create( model=deployment_name, messages=[ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": [ { "type": "text", "text": "Describe this picture:" }, { "type": "image_url", "image_url": { "url": "<image URL>" } } ] } ], max_tokens=2000 ) print(response)
進行下列變更:
- 在適當的欄位中,輸入 GPT-4 Turbo 與視覺部署的名稱。
- 將欄位的值
"url"
變更為影像的 URL。提示
您也可以使用Base 64編碼影像數據,而不是URL。 如需詳細資訊,請參閱 GPT-4 Turbo with Vision 操作指南。
使用
python
命令執行應用程式:python quickstart.py
清除資源
如果您想要清除和移除 Azure OpenAI 資源,則可以刪除資源或資源群組。 刪除資源群組也會刪除與其相關聯的任何其他資源。
下一步
- 深入瞭解 GPT-4 Turbo 中的這些 API 與視覺操作指南
- GPT-4 Turbo with Vision 常見問題
- GPT-4 Turbo with Vision API 參考