Краткое руководство. Использование GPT-4 Turbo с распознаванием изображений и видео с помощью Службы Azure OpenAI - Azure OpenAI

Начните изучать GPT-4 Turbo с возможностями визуального зрения с использованием подхода без кода с помощью Azure OpenAI Studio.

Необходимые компоненты

Подписка Azure. Создайте ее бесплатно.
Службе Azure OpenAI предоставлен доступ в требуемой подписке Azure В настоящее время доступ к этой службе предоставляется только приложением. Вы можете подать заявку на доступ к Azure OpenAI, выполнив форму по адресу https://aka.ms/oai/access. Если у вас возникли проблемы, создайте соответствующий запрос в этом репозитории, чтобы связаться с нами.
Ресурс службы Azure OpenAI с GPT-4 Turbo с развернутой моделью визуального распознавания. Доступность модели GPT-4 и GPT-4 Turbo Preview для доступных регионов. Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.
Для улучшения визуального зрения (необязательно): ресурс Azure Компьютерное зрение в том же регионе, что и ресурс Azure OpenAI, на платном уровне (S1).

Примечание.

В настоящее время не поддерживается отключение фильтрации содержимого для модели GPT-4 Turbo с моделью визуального зрения.

Перейдите в Azure OpenAI Studio

Перейдите в Azure OpenAI Studio и войдите с учетными данными, связанными с ресурсом Azure OpenAI. Во время или после рабочего процесса входа выберите соответствующий каталог, подписку Azure и ресурс Azure OpenAI.

В разделе "Управление" выберите "Развертывания" и создайте GPT-4 Turbo с развертыванием визуального зрения, выбрав имя модели " gpt-4" и версию модели "vision-preview". Дополнительные сведения о моделях развертывания Azure, см. в руководстве по развертыванию ресурсов.

В разделе "Детская площадка" выберите "Чат".

Тестовая площадка

На этой странице можно быстро итерировать и экспериментировать с возможностями модели.

Общие сведения о настройке помощник, сеансах чата, параметрах и панелях см. в кратком руководстве по чату.

Запуск сеанса чата для анализа изображений или видео

В этом сеансе чата вы указываете помощник помочь в понимании входных изображений.

Чтобы начать, выберите GPT-4 Turbo с развертыванием визуального зрения в раскрывающемся списке.
В области настройки помощника предоставьте системное сообщение для руководства по помощник. Системное сообщение по умолчанию: "Вы являетесь помощник ИИ, который помогает людям находить информацию". Вы можете адаптировать системное сообщение к изображению или сценарию, который вы отправляете.

Примечание.

Рекомендуется обновить системное сообщение для конкретной задачи, чтобы избежать ненужных ответов от модели.
Сохраните изменения и при появлении запроса на подтверждение обновления системного сообщения нажмите кнопку "Продолжить".
В области сеансов чата введите текстовый запрос, например "Описание этого изображения", и отправьте изображение с помощью кнопки вложения. Вы можете использовать другой текстовый запрос для вашего варианта использования. Затем нажмите кнопку "Отправить".
Просмотрите предоставленные выходные данные. Рассмотрите возможность задавать дополнительные вопросы, связанные с анализом изображения, чтобы узнать больше.

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к использованию REST API Azure OpenAI для развертывания и использования GPT-4 Turbo с моделью визуального распознавания.

Необходимые компоненты

Подписка Azure. Создайте ее бесплатно.
Службе Azure OpenAI предоставлен доступ в требуемой подписке Azure В настоящее время доступ к этой службе предоставляется только приложением. Вы можете подать заявку на доступ к Azure OpenAI, выполнив форму по адресу https://aka.ms/oai/access. Если у вас возникли проблемы, создайте соответствующий запрос в этом репозитории, чтобы связаться с нами.
Python 3.8 или более поздней версии.
Следующие библиотеки Python: requests, json.
Ресурс службы Azure OpenAI с GPT-4 Turbo с развернутой моделью визуального распознавания. Доступность модели GPT-4 и GPT-4 Turbo Preview для доступных регионов. Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.
Для улучшения визуального зрения (необязательно): ресурс Azure Компьютерное зрение в том же регионе, что и ресурс Azure OpenAI, на платном уровне (S1).

Примечание.

В настоящее время не поддерживается отключение фильтрации содержимого для модели GPT-4 Turbo с моделью визуального зрения.

Получение ключа и конечной точки

Чтобы успешно вызвать API Azure OpenAI, вам потребуется следующая информация о ресурсе Azure OpenAI:

«Переменная»	Имя.	Значение
Конечная точка	`api_base`	Значение конечной точки находится в разделе "Ключи" и "Конечная точка" для ресурса в портал Azure. Кроме того, значение можно найти, выбрав Azure OpenAI Studio>Тестовая площадка>Представление кода. Пример конечной точки: `https://docs-test-001.openai.azure.com/`.
Ключ	`api_key`	Значение ключа также находится в разделе "Ключи" и "Конечная точка" для ресурса в портал Azure. Azure создает два ключа для ресурса. Можно использовать любое значение.

Перейдите к своему ресурсу на портале Azure. На панели навигации выберите "Ключи" и "Конечная точка " в разделе "Управление ресурсами". Скопируйте значение конечной точки и значение ключа доступа. Можно использовать значение KEY 1 или KEY 2 . Наличие двух ключей позволяет безопасно поворачивать и повторно создавать ключи без нарушения работы службы.

Создание приложения Python

Создайте файл Python с именем quickstart.py. Откройте новый файл в предпочтительном редакторе или интегрированной среде разработки.

Замените содержимое quickstart.py следующим кодом.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
data = { 
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Внесите следующие изменения:
1. Введите URL-адрес конечной точки и ключ в соответствующих полях.
2. Введите имя развертывания GPT-4 Turbo в соответствующем поле.
3. Измените значение "image" поля на URL-адрес изображения.
  
  Совет
  
  Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.
Запустите приложение, выполнив команду python:
```
python quickstart.py
```

GPT-4 Turbo с Vision обеспечивает эксклюзивный доступ к специализированным улучшениям служб ИИ Azure. В сочетании с Azure AI Vision он улучшает возможности чата, предоставляя модель чата с более подробными сведениями о видимом тексте на изображении и расположениях объектов.

Интеграция оптического распознавания символов (OCR) позволяет модели создавать более качественные ответы для плотного текста, преобразованных изображений и многоуровневых финансовых документов. Он также охватывает более широкий спектр языков.

Интеграция приземления объектов обеспечивает новый уровень для анализа данных и взаимодействия с пользователем, так как функция может визуально различать и выделять важные элементы в изображениях, которые он обрабатывает.

Внимание

Улучшения искусственного интеллекта Azure для GPT-4 Turbo с Vision будут выставляться отдельно от основных функций. Каждое улучшение ИИ Azure для GPT-4 Turbo с Vision имеет свои собственные отдельные расходы. Дополнительные сведения см. в специальных ценах.

Замените содержимое quickstart.py следующим кодом.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/extensions/chat/completions?api-version=2023-12-01-preview" 
data = {
    "model": "gpt-4-vision-preview",
    "enhancements": {
        "ocr": {
          "enabled": True
        },
        "grounding": {
          "enabled": True
        }
    },
    "dataSources": [
    {
        "type": "AzureComputerVision",
        "parameters": {
            "endpoint": "<your_computer_vision_endpoint>",
            "key": "<your_computer_vision_key>"
        }
    }],
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", 
        "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url", 
                "image_url": {
                    "url" : "<image URL>"
                }
            }
        ]} 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Внесите следующие изменения:
1. Введите имя развертывания GPT-4 Turbo в соответствующем поле.
2. Введите URL-адрес конечной точки Компьютерное зрение и ключ в соответствующих полях.
3. Измените значение "image" поля на URL-адрес изображения.
  
  Совет
  
  Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.
Запустите приложение, выполнив команду python:
```
python quickstart.py
```

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к развертыванию и использованию GPT-4 Turbo с моделью Визуального распознавания с помощью пакета SDK Для Python Для Azure OpenAI.

Исходный код библиотеки | Пакет (PyPi) |

Необходимые компоненты

Подписка Azure. Создайте ее бесплатно.
Службе Azure OpenAI предоставлен доступ в требуемой подписке Azure В настоящее время доступ к этой службе предоставляется только приложением. Вы можете подать заявку на доступ к Azure OpenAI, выполнив форму по адресу https://aka.ms/oai/access. Если у вас возникли проблемы, создайте соответствующий запрос в этом репозитории, чтобы связаться с нами.
Python 3.8 или более поздней версии.
Следующие библиотеки Python: os
Ресурс службы Azure OpenAI с GPT-4 Turbo с развернутой моделью визуального распознавания. Доступность модели GPT-4 и GPT-4 Turbo Preview для доступных регионов. Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.
Для улучшения визуального зрения (необязательно): ресурс Azure Компьютерное зрение в том же регионе, что и ресурс Azure OpenAI, на платном уровне (S1).

Настройка

Установите клиентную библиотеку OpenAI Python с помощью следующих компонентов:

pip install openai

Примечание.

Эта библиотека поддерживается OpenAI и в настоящее время находится в предварительной версии. Ознакомьтесь с журналом выпуска или журналом фиксации version.py, чтобы отслеживать последние обновления библиотеки.

Получение ключа и конечной точки

Чтобы успешно выполнить вызов к Azure OpenAI, вам потребуется конечная точка и ключ.

Имя переменной Значение

ENDPOINT Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Кроме того, значение можно найти, выбрав Azure OpenAI Studio >Тестовая площадка >Представление кода. Пример конечной точки: https://docs-test-001.openai.azure.com/.

API-KEY Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать KEY1 или KEY2.

Имя переменной	Значение
`ENDPOINT`	Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Кроме того, значение можно найти, выбрав Azure OpenAI Studio >Тестовая площадка >Представление кода. Пример конечной точки: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать `KEY1` или `KEY2`.

Перейдите к своему ресурсу на портале Azure. Раздел "Ключи и конечная точка " можно найти в разделе "Управление ресурсами". Скопируйте конечную точку и ключ доступа, так как они потребуются для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Создание приложения Python

Создайте файл Python с именем quickstart.py. Откройте новый файл в предпочтительном редакторе или интегрированной среде разработки.

Замените содержимое quickstart.py следующим кодом.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}"
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    max_tokens=2000 
)

print(response)

Внесите следующие изменения:
1. Введите имя GPT-4 Turbo с развертыванием Визуального зрения в соответствующем поле.
2. Измените значение "url" поля на URL-адрес изображения.
  
  Совет
  
  Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.
Запустите приложение, выполнив команду python:
```
python quickstart.py
```

GPT-4 Turbo с Vision обеспечивает эксклюзивный доступ к специализированным улучшениям служб ИИ Azure. В сочетании с Azure AI Vision он улучшает возможности чата, предоставляя модель чата с более подробными сведениями о видимом тексте на изображении и расположениях объектов.

Интеграция оптического распознавания символов (OCR) позволяет модели создавать более качественные ответы для плотного текста, преобразованных изображений и многоуровневых финансовых документов. Он также охватывает более широкий спектр языков.

Интеграция приземления объектов обеспечивает новый уровень для анализа данных и взаимодействия с пользователем, так как функция может визуально различать и выделять важные элементы в изображениях, которые он обрабатывает.

Внимание

Улучшения искусственного интеллекта Azure для GPT-4 Turbo с Vision будут выставляться отдельно от основных функций. Каждое улучшение ИИ Azure для GPT-4 Turbo с Vision имеет свои собственные отдельные расходы. Дополнительные сведения см. в специальных ценах.

Замените содержимое quickstart.py следующим кодом.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}/extensions",
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    extra_body={
        "dataSources": [
            {
                "type": "AzureComputerVision",
                "parameters": {
                    "endpoint": "<your_computer_vision_endpoint>",
                    "key": "<your_computer_vision_key>"
                }
            }],
        "enhancements": {
            "ocr": {
                "enabled": True
            },
            "grounding": {
                "enabled": True
            }
        }
    },
    max_tokens=2000
)

print(response)

Внесите следующие изменения:
1. Введите имя развертывания GPT-4 Turbo в соответствующем поле.
2. Введите URL-адрес конечной точки Компьютерное зрение и ключ в соответствующих полях.
3. Измените значение "url" поля на URL-адрес изображения.
  
  Совет
  
  Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.
Запустите приложение, выполнив команду python:
```
python quickstart.py
```

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Краткое руководство. Использование изображений в чатах ИИ

Обновление модели GPT-4 Turbo

Различия между OpenAI и Azure OpenAI GPT-4 Turbo с моделью общедоступной версии vision

Различия от gpt-4 vision-preview

Доступность по регионам

Развертывание GPT-4 Turbo с помощью общедоступной версии vision

Необходимые компоненты

Перейдите в Azure OpenAI Studio

Тестовая площадка

Запуск сеанса чата для анализа изображений или видео

Очистка ресурсов

Необходимые компоненты

Получение ключа и конечной точки

Создание приложения Python

Очистка ресурсов

Необходимые компоненты

Настройка

Получение ключа и конечной точки

Переменные среды

Создание приложения Python

Очистка ресурсов

Следующие шаги

Дополнительные ресурсы