التشغيل السريع: استخدام GPT-4 Turbo مع Vision على الصور ومقاطع الفيديو الخاصة بك مع خدمة Azure OpenAI - Azure OpenAI

ابدأ في استكشاف GPT-4 Turbo مع قدرات الرؤية باستخدام نهج بدون تعليمات برمجية من خلال Azure OpenAI Studio.

المتطلبات الأساسية

اشتراك Azure. أنشئ حسابًا مجانًا.
الوصول الممنوح إلى Azure OpenAI في اشتراك Azure المطلوب. حاليًا، يتم منح الوصول إلى هذه الخدمة فقط بواسطة التطبيق. يمكنك التقدم بطلب للوصول إلى Azure OpenAI عن طريق إكمال النموذج في https://aka.ms/oai/access. افتح مشكلة على هذا المستودع للاتصال بنا إذا كانت لديك مشكلة.
مورد خدمة Azure OpenAI مع GPT-4 Turbo مع نشر نموذج الرؤية. راجع توفر نموذج GPT-4 وGPT-4 Turbo Preview للمناطق المتاحة. لمزيد من المعلومات حول إنشاء الموارد، راجع دليل توزيع الموارد.
لتحسين الرؤية (اختياري): مورد Azure Computer Vision في نفس المنطقة مثل مورد Azure OpenAI، في المستوى المدفوع (S1).

إشعار

لا يتم حاليا دعم إيقاف تشغيل تصفية المحتوى لنموذج GPT-4 Turbo مع Vision.

انتقل إلى Azure OpenAI Studio

استعرض للوصول إلى Azure OpenAI Studio وسجل الدخول باستخدام بيانات الاعتماد المقترنة بمورد Azure OpenAI. أثناء سير عمل تسجيل الدخول أو بعده، حدد الدليل المناسب واشتراك Azure ومورد Azure OpenAI.

ضمن Management حدد Deployments وCreate a GPT-4 Turbo with Vision deployment by selecting model name: "gpt-4" and model version "vision-preview".. لمزيد من المعلومات حول نشر النموذج، راجع دليل توزيع الموارد.

ضمن قسم Playground حدد Chat.

Playground

من هذه الصفحة، يمكنك تكرار قدرات النموذج وتجربتها بسرعة.

للحصول على تعليمات عامة حول إعداد المساعد وجلسات الدردشة والإعدادات واللوحات، راجع التشغيل السريع للدردشة.

بدء جلسة دردشة لتحليل الصور أو الفيديو

في جلسة الدردشة هذه، تقوم بتوجيه المساعد للمساعدة في فهم الصور التي تقوم بإدخالها.

للبدء، حدد GPT-4 Turbo with Vision deployment من القائمة المنسدلة.
في جزء إعداد المساعد، قم بتوفير رسالة النظام لتوجيه المساعد. رسالة النظام الافتراضية هي: "أنت مساعد الذكاء الاصطناعي يساعد الأشخاص على العثور على المعلومات." يمكنك تخصيص رسالة النظام إلى الصورة أو السيناريو الذي تقوم بتحميله.

إشعار

يوصى بتحديث رسالة النظام لتكون خاصة بالمهمة لتجنب الاستجابات غير المفيدة من النموذج.
احفظ التغييرات، وعند مطالبتك بتأكيد تحديث رسالة النظام، حدد متابعة.
في جزء جلسة الدردشة ، أدخل مطالبة نصية مثل "وصف هذه الصورة"، ثم قم بتحميل صورة باستخدام زر المرفق. يمكنك استخدام مطالبة نصية مختلفة لحالة الاستخدام الخاصة بك. ثم حدد إرسال.
لاحظ الإخراج المقدم. فكر في طرح أسئلة المتابعة المتعلقة بتحليل صورتك لمعرفة المزيد.

تنظيف الموارد

إذا كنت ترغب في تنظيف مورد Azure OpenAI وإزالته، يمكنك حذف المورد أو مجموعة الموارد. يؤدي حذف مجموعة الموارد إلى حذف أية موارد أخرى مقترنة بها أيضًا.

استخدم هذه المقالة للبدء في استخدام واجهات برمجة تطبيقات Azure OpenAI REST لنشر نموذج GPT-4 Turbo مع Vision واستخدامه.

المتطلبات الأساسية

اشتراك Azure. أنشئ حسابًا مجانًا.
الوصول الممنوح إلى Azure OpenAI في اشتراك Azure المطلوب. حاليًا، يتم منح الوصول إلى هذه الخدمة فقط بواسطة التطبيق. يمكنك التقدم بطلب للوصول إلى Azure OpenAI عن طريق إكمال النموذج في https://aka.ms/oai/access. افتح مشكلة على هذا المستودع للاتصال بنا إذا كانت لديك مشكلة.
Python 3.8 أو إصدار أحدث.
مكتبات Python التالية: requests، . json
مورد خدمة Azure OpenAI مع GPT-4 Turbo مع نشر نموذج الرؤية. راجع توفر نموذج GPT-4 وGPT-4 Turbo Preview للمناطق المتاحة. لمزيد من المعلومات حول إنشاء الموارد، راجع دليل توزيع الموارد.
لتحسين الرؤية (اختياري): مورد Azure Computer Vision في نفس المنطقة مثل مورد Azure OpenAI، في المستوى المدفوع (S1).

إشعار

لا يتم حاليا دعم إيقاف تشغيل تصفية المحتوى لنموذج GPT-4 Turbo مع Vision.

قم باسترداد المفتاح ونقطة النهاية

لاستدعاء واجهات برمجة تطبيقات Azure OpenAI بنجاح، تحتاج إلى المعلومات التالية حول مورد Azure OpenAI الخاص بك:

عامل	الاسم	القيمة‬
نقطه النهايه	`api_base`	تقع قيمة نقطة النهاية ضمن المفاتيح ونقطة النهاية للمورد الخاص بك في مدخل Microsoft Azure. بدلا من ذلك، يمكنك العثور على القيمة في Azure OpenAI Studio>Playground>Code View. مثال على نقطة النهاية هو: `https://docs-test-001.openai.azure.com/`.
المفتاح	`api_key`	تقع قيمة المفتاح أيضا ضمن المفاتيح ونقطة النهاية للمورد الخاص بك في مدخل Microsoft Azure. ينشئ Azure مفتاحين للمورد الخاص بك. يمكنك استخدام أي من القيمتين.

انتقل إلى مجموعة الموارد في مدخل Microsoft Azure. في جزء التنقل، حدد Keys and Endpoint ضمن Resource Management. انسخ قيمة نقطة النهاية وقيمة مفتاح الوصول. يمكنك استخدام قيمة KEY 1 أو KEY 2 . يسمح لك وجود مفتاحين بتدوير المفاتيح وإعادة إنشائها بأمان دون التسبب في تعطيل الخدمة.

إنشاء تطبيق Python جديد

إنشاء ملف Python جديد يسمى quickstart.py. افتح الملف الجديد في المحرر المفضل لديك أو IDE.

استبدل محتويات quickstart.py بالتعليمات البرمجية التالية.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
data = { 
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

قم بإجراء التغييرات التالية:
1. أدخل عنوان URL لنقطة النهاية والمفتاح في الحقول المناسبة.
2. أدخل GPT-4 Turbo الخاص بك مع اسم نشر Vision في الحقل المناسب.
3. غير قيمة "image" الحقل إلى عنوان URL لصورتك.
  
  تلميح
  
  يمكنك أيضا استخدام بيانات صورة مشفرة أساسية 64 بدلا من عنوان URL. لمزيد من المعلومات، راجع دليل GPT-4 Turbo with Vision how-to.
قم بتشغيل التطبيق باستخدام الأمر python:
```
python quickstart.py
```

يوفر GPT-4 Turbo مع Vision وصولا حصريا إلى تحسينات Azure الذكاء الاصطناعي Services المخصصة. عند دمجه مع Azure الذكاء الاصطناعي Vision، فإنه يعزز تجربة الدردشة من خلال تزويد نموذج الدردشة بمعلومات أكثر تفصيلا حول النص المرئي في الصورة ومواقع العناصر.

يسمح تكامل التعرف البصري على الحروف (OCR) للنموذج بإنتاج استجابات عالية الجودة للنص الكثيف والصور المحولة والوثائق المالية كثيفة العدد. كما تغطي مجموعة أوسع من اللغات.

يجلب تكامل قاعدة العنصر طبقة جديدة لتحليل البيانات وتفاعل المستخدم، حيث يمكن للميزة تمييز العناصر المهمة وتسليط الضوء عليها بصريا في الصور التي تعالجها.

تنبيه

سيتم فوترة تحسينات Azure الذكاء الاصطناعي ل GPT-4 Turbo مع Vision بشكل منفصل عن الوظائف الأساسية. كل تحسين Azure الذكاء الاصطناعي محدد ل GPT-4 Turbo مع Vision له رسوم مميزة خاصة به. للحصول على التفاصيل، راجع معلومات التسعير الخاصة.

استبدل محتويات quickstart.py بالتعليمات البرمجية التالية.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/extensions/chat/completions?api-version=2023-12-01-preview" 
data = {
    "model": "gpt-4-vision-preview",
    "enhancements": {
        "ocr": {
          "enabled": True
        },
        "grounding": {
          "enabled": True
        }
    },
    "dataSources": [
    {
        "type": "AzureComputerVision",
        "parameters": {
            "endpoint": "<your_computer_vision_endpoint>",
            "key": "<your_computer_vision_key>"
        }
    }],
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", 
        "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url", 
                "image_url": {
                    "url" : "<image URL>"
                }
            }
        ]} 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

قم بإجراء التغييرات التالية:
1. أدخل GPT-4 Turbo الخاص بك مع اسم نشر Vision في الحقل المناسب.
2. أدخل عنوان URL لنقطة نهاية Computer Vision والمفتاح في الحقول المناسبة.
3. غير قيمة "image" الحقل إلى عنوان URL لصورتك.
  
  تلميح
  
  يمكنك أيضا استخدام بيانات صورة مشفرة أساسية 64 بدلا من عنوان URL. لمزيد من المعلومات، راجع دليل GPT-4 Turbo with Vision how-to.
قم بتشغيل التطبيق باستخدام الأمر python:
```
python quickstart.py
```

تنظيف الموارد

إذا كنت ترغب في تنظيف مورد Azure OpenAI وإزالته، يمكنك حذف المورد أو مجموعة الموارد. يؤدي حذف مجموعة الموارد إلى حذف أية موارد أخرى مقترنة بها أيضًا.

استخدم هذه المقالة للبدء في استخدام Azure OpenAI Python SDK لنشر نموذج GPT-4 Turbo مع Vision واستخدامه.

مكتبة التعليمات البرمجية | الحزمة (PyPi) |

المتطلبات الأساسية

اشتراك Azure. أنشئ حسابًا مجانًا.
الوصول الممنوح إلى Azure OpenAI في اشتراك Azure المطلوب. حاليًا، يتم منح الوصول إلى هذه الخدمة فقط بواسطة التطبيق. يمكنك التقدم بطلب للوصول إلى Azure OpenAI عن طريق إكمال النموذج في https://aka.ms/oai/access. افتح مشكلة على هذا المستودع للاتصال بنا إذا كانت لديك مشكلة.
Python 3.8 أو إصدار أحدث.
مكتبات Python التالية: os
مورد خدمة Azure OpenAI مع GPT-4 Turbo مع نشر نموذج الرؤية. راجع توفر نموذج GPT-4 وGPT-4 Turbo Preview للمناطق المتاحة. لمزيد من المعلومات حول إنشاء الموارد، راجع دليل توزيع الموارد.
لتحسين الرؤية (اختياري): مورد Azure Computer Vision في نفس المنطقة مثل مورد Azure OpenAI، في المستوى المدفوع (S1).

الإعداد

تثبيت مكتبة عميل OpenAI Python باستخدام:

pip install openai

إشعار

يتم الاحتفاظ بهذه المكتبة بواسطة OpenAI وهي قيد المعاينة حاليا. راجع محفوظات الإصدار أو محفوظات التثبيت version.py لتعقب آخر التحديثات إلى المكتبة.

قم باسترداد المفتاح ونقطة النهاية

لإجراء مكالمة بنجاح مقابل Azure OpenAI، تحتاج إلى نقطة نهاية ومفتاح.

اسم المتغير	القيمة‬
`ENDPOINT`	يمكن العثور على هذه القيمة في قسم المفاتيح ونقطة النهاية عند فحص المورد من مدخل Microsoft Azure. بدلاً من ذلك، يمكنك العثور على القيمة في Azure OpenAI Studio>Playground>Code View. مثال على نقطة النهاية هو: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	يمكن العثور على هذه القيمة في قسم المفاتيح ونقطة النهاية عند فحص المورد من مدخل Microsoft Azure. يمكنك استخدام إما `KEY1` أو `KEY2`.

انتقل إلى مجموعة الموارد في مدخل Microsoft Azure. يمكن العثور على قسم Keys & Endpoint في قسم Resource Management . انسخ نقطة النهاية ومفتاح الوصول حيث ستحتاج إلى كليهما لمصادقة استدعاءات واجهة برمجة التطبيقات. يمكنك استخدام إما KEY1 أو KEY2. يسمح لك وجود مفتاحين دائماً بتدوير المفاتيح وإعادة إنشائها بأمان دون التسبب في تعطيل الخدمة.

متغيرات البيئة

إنشاء متغيرات بيئة ثابتة وتعيينها للمفتاح ونقطة النهاية.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

إنشاء تطبيق Python جديد

إنشاء ملف Python جديد يسمى quickstart.py. افتح الملف الجديد في المحرر المفضل لديك أو IDE.

استبدل محتويات quickstart.py بالتعليمات البرمجية التالية.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}"
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    max_tokens=2000 
)

print(response)

قم بإجراء التغييرات التالية:
1. أدخل اسم GPT-4 Turbo الخاص بك مع نشر Vision في الحقل المناسب.
2. غير قيمة "url" الحقل إلى عنوان URL لصورتك.
  
  تلميح
  
  يمكنك أيضا استخدام بيانات صورة مشفرة أساسية 64 بدلا من عنوان URL. لمزيد من المعلومات، راجع دليل GPT-4 Turbo with Vision how-to.
قم بتشغيل التطبيق باستخدام الأمر python:
```
python quickstart.py
```

يوفر GPT-4 Turbo مع Vision وصولا حصريا إلى تحسينات Azure الذكاء الاصطناعي Services المخصصة. عند دمجه مع Azure الذكاء الاصطناعي Vision، فإنه يعزز تجربة الدردشة من خلال تزويد نموذج الدردشة بمعلومات أكثر تفصيلا حول النص المرئي في الصورة ومواقع العناصر.

يسمح تكامل التعرف البصري على الحروف (OCR) للنموذج بإنتاج استجابات عالية الجودة للنص الكثيف والصور المحولة والوثائق المالية كثيفة العدد. كما تغطي مجموعة أوسع من اللغات.

يجلب تكامل قاعدة العنصر طبقة جديدة لتحليل البيانات وتفاعل المستخدم، حيث يمكن للميزة تمييز العناصر المهمة وتسليط الضوء عليها بصريا في الصور التي تعالجها.

تنبيه

سيتم فوترة تحسينات Azure الذكاء الاصطناعي ل GPT-4 Turbo مع Vision بشكل منفصل عن الوظائف الأساسية. كل تحسين Azure الذكاء الاصطناعي محدد ل GPT-4 Turbo مع Vision له رسوم مميزة خاصة به. للحصول على التفاصيل، راجع معلومات التسعير الخاصة.

استبدل محتويات quickstart.py بالتعليمات البرمجية التالية.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}/extensions",
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    extra_body={
        "dataSources": [
            {
                "type": "AzureComputerVision",
                "parameters": {
                    "endpoint": "<your_computer_vision_endpoint>",
                    "key": "<your_computer_vision_key>"
                }
            }],
        "enhancements": {
            "ocr": {
                "enabled": True
            },
            "grounding": {
                "enabled": True
            }
        }
    },
    max_tokens=2000
)

print(response)

قم بإجراء التغييرات التالية:
1. أدخل GPT-4 Turbo الخاص بك مع اسم نشر Vision في الحقل المناسب.
2. أدخل عنوان URL لنقطة نهاية Computer Vision والمفتاح في الحقول المناسبة.
3. غير قيمة "url" الحقل إلى عنوان URL لصورتك.
  
  تلميح
  
  يمكنك أيضا استخدام بيانات صورة مشفرة أساسية 64 بدلا من عنوان URL. لمزيد من المعلومات، راجع دليل GPT-4 Turbo with Vision how-to.
قم بتشغيل التطبيق باستخدام الأمر python:
```
python quickstart.py
```

تنظيف الموارد

إذا كنت ترغب في تنظيف مورد Azure OpenAI وإزالته، يمكنك حذف المورد أو مجموعة الموارد. يؤدي حذف مجموعة الموارد إلى حذف أية موارد أخرى مقترنة بها أيضًا.

Share via

التشغيل السريع: استخدام الصور في دردشاتك الذكاء الاصطناعي

ترقية طراز GPT-4 Turbo

الاختلافات بين OpenAI وAzure OpenAI GPT-4 Turbo GA Models

الاختلافات من معاينة رؤية gpt-4

توفر GPT-4 Turbo المدار

توافر المناطق

توزيع GPT-4 Turbo مع Vision GA

المتطلبات الأساسية

انتقل إلى Azure OpenAI Studio

Playground

بدء جلسة دردشة لتحليل الصور أو الفيديو

تنظيف الموارد

المتطلبات الأساسية

قم باسترداد المفتاح ونقطة النهاية

إنشاء تطبيق Python جديد

تنظيف الموارد

المتطلبات الأساسية

الإعداد

قم باسترداد المفتاح ونقطة النهاية

متغيرات البيئة

إنشاء تطبيق Python جديد

تنظيف الموارد

الخطوات التالية

الموارد الإضافية