Подключение подготовленных единиц пропускной способности
В этой статье описывается процесс подключения к подготовленным единицам пропускной способности (PTU). После завершения начальной адаптации рекомендуется ознакомиться с руководством по началу работы с PTU.
Примечание.
Подготовленные единицы пропускной способности (PTU) отличаются от стандартной квоты в Azure OpenAI и недоступны по умолчанию. Чтобы узнать больше об этом предложении, обратитесь к группе учетных записей Майкрософт.
Когда следует использовать подготовленные единицы пропускной способности (PTU)
Следует рассмотреть возможность переключения с оплаты по мере использования на подготовленную пропускную способность при наличии четко определенных прогнозируемых требований к пропускной способности. Как правило, это происходит, когда приложение готово к рабочей среде или уже развернуто в рабочей среде, и есть представление о ожидаемом трафике. Это позволит пользователям точно прогнозировать необходимую емкость и избежать непредвиденных выставления счетов.
Типичные сценарии PTU
- Приложение, готовое к рабочей среде или в рабочей среде.
- Приложение имеет прогнозируемые ожидания емкости и использования.
- Приложение имеет требования к конфиденциальности в режиме реального времени и задержки.
Примечание.
При вызовах функций и вариантах использования агента использование маркеров может быть переменной. Перед переносом рабочих нагрузок в PTU необходимо подробно понять ожидаемое использование маркеров в минуту (TPM).
Размер и оценка: подготовленный управляемый только
Определение правильного объема подготовленной пропускной способности или PTUS, необходимое для рабочей нагрузки, является важным шагом к оптимизации производительности и затрат. В этом разделе описывается, как использовать средство планирования емкости Azure OpenAI. Это средство предоставляет оценку требуемого PTU для удовлетворения потребностей рабочей нагрузки.
Оценка подготовленной пропускной способности и затрат
Чтобы получить быструю оценку рабочей нагрузки, откройте планировщик емкости в Azure OpenAI Studio. Планировщик емкости находится в разделе "Подготовленные квоты>управления>".
Параметр "Подготовленная " и планировщик емкости доступны только в определенных регионах в области квоты, если этот параметр не отображается, если этот параметр не отображается в регионе квоты в Швецию Central , этот параметр будет доступен. Введите следующие параметры на основе рабочей нагрузки.
| Входные данные | Description |
|---|---|
| Модель | Модель OpenAI, используемая вами. Например: GPT-4 |
| Версия | Версия модели, используемой для использования, например 0614 |
| Маркеры запроса | Количество маркеров в запросе для каждого вызова |
| Создаваемые маркеры | Количество маркеров, создаваемых моделью при каждом вызове |
| Пиковые вызовы в минуту | Пиковая одновременная нагрузка на конечную точку, измеряемую в минутах вызовов |
После заполнения необходимых сведений выберите "Вычислить ", чтобы просмотреть предлагаемый PTU для вашего сценария.
Примечание.
Планировщик емкости — это оценка на основе простых критериев ввода. Самый точный способ определения емкости — тестировать развертывание с репрезентативной рабочей нагрузкой для вашего варианта использования.
Общие сведения о подготовленной модели приобретения пропускной способности
В отличие от служб Azure, в которых взимается плата на основе использования, функция подготовленной пропускной способности Azure OpenAI приобретается в качестве возобновляемых, ежемесячных обязательств. Это обязательство взимается с вашей подписки при создании и при каждом ежемесячном продлении. При подключении к подготовленной пропускной способности необходимо создать обязательство для каждого ресурса Azure OpenAI, в котором планируется создать подготовленное развертывание. PTUs, приобретенные таким образом, доступны для использования при создании развертываний на этих ресурсах.
Общее количество ПТП, которые можно приобрести с помощью обязательств, ограничено объемом квоты подготовленной пропускной способности, назначенной вашей подписке. В следующей таблице сравниваются другие характеристики квоты подготовленной пропускной способности (PTUS) и обязательства по подготовленной пропускной способности.
| Раздел | Квота | Обязательства |
|---|---|---|
| Характер использования | Предоставляет разрешение на создание подготовленных развертываний и предоставляет верхний предел емкости, которую можно использовать. | Приобретение транспортного средства для подготовленной пропускной способности |
| Время существования | Квота может быть удалена из подписки, если она не приобретена через обязательство в течение пяти дней после предоставления | Минимальный срок — один месяц, при использовании автоматического выбора клиента. Обязательство не является отменяемым и не может быть перемещено в новый ресурс во время его активности |
| Область | Квота связана с подпиской и регионом и используется для всех ресурсов Azure OpenAI. | Обязательства являются атрибутом ресурса Azure OpenAI и область для развертываний в этом ресурсе. Подписка может содержать столько активных обязательств, сколько есть ресурсы. |
| Степень детализации | Квота предоставляется для семейства моделей (например, GPT-4), но предоставляется совместное использование между версиями моделей в семействе. | Обязательства не являются моделью или версией. Например, обязательство по 1000 PTU ресурса может охватывать развертывания как GPT-4, так и GPT-35-Turbo |
| Гарантия емкости | Наличие квоты не гарантирует доступность емкости при создании развертывания. | Доступность емкости для покрытия зафиксированных ПТП гарантируется до тех пор, пока обязательство активно. |
| Увеличение и уменьшение | Новая квота может быть запрошена и утверждена в любое время независимо от дат продления обязательств. | Число ПТП, охваченных обязательством, может быть увеличено в любое время, но не может быть уменьшено, кроме момента продления. |
Квота и обязательства работают вместе для управления созданием развертываний в подписках. Чтобы создать подготовленное развертывание, необходимо выполнить два критерия:
- Квота должна быть доступна для требуемой модели в нужном регионе и подписке. Это означает, что вы не можете превышать предел подписки или региона для модели.
- Выделенные PTUs должны быть доступны в ресурсе, в котором создается развертывание. (Емкость, назначаемая развертыванию, оплачивается).
Свойства обязательства и модель зарядки
Обязательство включает несколько свойств.
| Свойство | Description | Если задано |
|---|---|---|
| Ресурс Azure OpenAI | Ресурс, на котором размещено обязательство | Создание обязательств |
| Зафиксированные PTUs | Количество ПТП, охваченных обязательством. | Первоначально устанавливается при создании обязательств и может увеличиваться в любое время, но не уменьшаться. |
| Термин | Срок обязательства. Срок действия обязательства истекает через месяц с момента его создания. Политика продления определяет, что происходит дальше. | Создание обязательств |
| Дата окончания срока действия | Дата окончания срока действия обязательства. Это время окончания срока действия в полночь в формате UTC. | Первоначально 30 дней после создания. Однако дата окончания срока действия изменяется, если обязательство будет продлено. |
| Политика продления | Существует три варианта действий по истечении срока действия. — Autorenew: новый срок обязательства начинается еще на 30 дней с текущего числа ПТУ — Autorenew с различными параметрами: этот параметр совпадает с autorenew, за исключением того, что количество PTUS, зафиксированных при продлении, может быть уменьшено. - Не запустите автоматическое обновление: по истечении срока действия обязательство заканчивается и не обновляется. |
Первоначально устанавливается при создании обязательств и может быть изменен в любое время. |
Платежи по обязательству
Подготовленные обязательства по пропускной способности создают расходы на подписку Azure в следующее время:
При создании обязательств. Плата вычисляется в соответствии с текущей ежемесячной ставкой PTU и числом зафиксированных PTUS. Вы получите единый передний счет по счету.
При обновлении обязательств. Если для политики продления задано значение autorenew, создается новая ежемесячная плата на основе PTUs, зафиксированной в новом сроке. Эта плата отображается как единый передний счет в счете.
При добавлении новых ПТК в существующее обязательство. Плата вычисляется на основе количества ПТП, добавленных к обязательству, почасовой оценке до конца существующего срока обязательств. Например, если 300 PTUs добавляются к существующему обязательству 900 ПТП ровно на полпути до его срока действия, то в момент добавления за эквивалент 150 PTUs (300 PTUs pro-rated до даты истечения срока действия обязательства). Если обязательство будет продлено, плата за следующий месяц будет взиматься за новый PTU в общей сложности 1200 PTUS.
Если количество развернутых ПТП в ресурсе охватывается обязательством ресурса, то вы увидите только расходы на обязательства. Однако если число развернутых ПТП в ресурсе становится больше, чем зафиксированные PTUS ресурса, то за превышение расходов будет взиматься из-за превышения почасовой ставки. Как правило, единственным способом этого превышения является срок действия обязательства или снижение срока его продления, а ресурс содержит развертывания. Например, если срок действия обязательства по 300 PTU истекает на ресурсе с развернутым 300 PTUS, развернутые PTUs больше не будут охвачены любым обязательством. После достижения даты окончания срока действия подписка взимается почасовая плата за превышение расходов на основе 300 избыточных ПТУ.
Почасовая ставка выше ежемесячной ставки обязательств, а плата превышает ежемесячную ставку в течение нескольких дней. Существует два способа завершения почасового превышения расходов:
- Удаление или уменьшение масштаба развертываний, чтобы они не использовали больше PTUs, чем зафиксированы.
- Создайте новое обязательство по ресурсу для покрытия развернутых PTUS.
Приобретение и управление обязательствами
Планирование ваших обязательств
После получения подтверждения, что квота подготовленной единицы пропускной способности (PTU) назначена подписке, необходимо создать обязательства по целевым ресурсам (или расширить существующие обязательства), чтобы сделать квоту доступной для развертываний.
Перед созданием обязательств спланируйте, как будут использоваться подготовленные развертывания и какие ресурсы Azure OpenAI будут размещать их. Обязательства имеют минимальный срок в месяц и не могут быть уменьшены до конца срока. Они также не могут быть перемещены в новые ресурсы после создания. Наконец, сумма зафиксированных ПТП не может быть больше квоты. PTUS, зафиксированные в ресурсе, больше не доступны для фиксации на другом ресурсе до истечения срока действия обязательства. Имея четкий план, по которому ресурсы будут использоваться для подготовленных развертываний, и емкость, которую вы планируете применить к ним (по крайней мере в месяц), поможет обеспечить оптимальную работу с подготовленной настройкой пропускной способности.
Например:
Не создавайте обязательства и развертывание во временном ресурсе для проверки. Этот ресурс будет заблокирован по крайней мере за месяц. Вместо этого, если план в конечном счете будет использовать PTUS в рабочей среде, создайте обязательство и тестирование развертывания на этом ресурсе прямо с самого начала.
Вычислите количество ПТП для фиксации ресурса на основе числа, модели и размера создаваемых развертываний, учитывая минимальное количество PTUS для каждой модели, для которой требуется создать развертывание.
Пример 1. Для развертывания требуется не менее 200 ПТП-4-32K. Если вы создаете обязательство только 100 ПТП на ресурсе, для развертывания GPT-4-32K там не будет достаточно зафиксированных PT.4-32K.
Пример 2. Если необходимо создать несколько развертываний в ресурсе, суммируете PTUS, необходимые для каждого развертывания. Для размещения рабочих ресурсов для 300 PT-4 и 500 PTUs GPT-4-32K потребуется обязательство по крайней мере 800 PTUs для покрытия обоих развертываний.
По мере необходимости распределяйте или консолидируйте ПТП. Например, общая квота ПТС 1000 может быть распределена по ресурсам по мере необходимости для поддержки развертываний. Она может быть зафиксирована в одном ресурсе для поддержки одного или нескольких развертываний, добавляемых до 1000 ПТУ, или распределена по нескольким ресурсам (например, для разработки и ресурса prod), если общее количество зафиксированных ПТУ меньше или равно квоте 1000.
Рассмотрим операционные требования в плане. Например:
- Соглашения об именовании ресурсов в организации
- Политики непрерывности бизнес-процессов, требующие нескольких развертываний модели для каждого региона, возможно, в разных ресурсах Azure OpenAI
Управление подготовленными обязательствами по пропускной способности
Подготовленные обязательства по пропускной способности создаются и управляются в представлении "Управление обязательствами " в Azure OpenAI Studio. Вы можете перейти к этому представлению, выбрав пункт "Управление обязательствами " на панели "Квота":
В представлении "Управление обязательствами" можно выполнить несколько действий.
- Приобретите новые обязательства или измените существующие обязательства.
- Отслеживайте все обязательства в подписке.
- Определите и примите меры по обязательствам, которые могут вызвать непредвиденные выставления счетов.
Приведенные ниже разделы помогут вам выполнить эти задачи.
Приобретение подготовленной пропускной способности
С готовым планом обязательств, следующим шагом является создание обязательств. Обязательства создаются вручную с помощью Azure OpenAI Studio и требуют от пользователя создания обязательства иметь роль участника или участника Cognitive Services на уровне подписки.
Для каждой новой обязательства, необходимой для создания, выполните следующие действия.
- Запустите диалоговое окно покупки подготовленной пропускной способности, выбрав квоты>, подготовленные>для управления обязательствами.
Выберите обязательство покупки.
Выберите ресурс Azure OpenAI и приобретите обязательство. Вы увидите ресурсы, разделенные на ресурсы с существующими обязательствами, которые можно редактировать и ресурсы, которые в настоящее время не имеют обязательств.
| Параметр | Примечания. |
|---|---|
| Выбор ресурса | Выберите ресурс, в котором будет создано подготовленное развертывание. После приобретения обязательства вы не сможете использовать PTUS на другом ресурсе до истечения срока действия текущего обязательства. |
| Выбор типа обязательства | Выберите Подготовлено. (Подготовлено эквивалентно подготовленному управляемому) |
| Текущая незафиксированная подготовленная квота | Количество ПТП, доступных в настоящее время для фиксации этого ресурса. |
| Сумма фиксации (PTU) | Выберите количество ПТП, к которые вы фиксируете. Это число может быть увеличено в течение срока обязательств, но не может быть уменьшено. Введите значения приращения 50 для типа обязательства Provisioned. |
| Уровень обязательств за текущий период | Срок обязательств равен одному месяцу. |
| Параметры продления | Автоматическое продление на текущих PTUS Автоматическое продление на более низких ПТУ Не обновляйте автоматическое продление |
- Щелкните Приобрести. Откроется диалоговое окно подтверждения. После подтверждения PTUs будет зафиксирован, и их можно использовать для создания подготовленного развертывания. |
Внимание
За весь срок выставляется счет за новое обязательство. Если для параметров продления задано автоматическое продление, вы будете выставлены счета снова по каждой дате продления на основе параметров продления.
Изменение существующей подготовленной пропускной способности
В представлении "Управление обязательствами" можно также изменить существующее обязательство. Существует два типа изменений, которые можно внести в существующее обязательство:
- Вы можете добавить PTUS в обязательство.
- Параметры продления можно изменить.
Чтобы изменить обязательство, выберите текущий для изменения, а затем нажмите кнопку "Изменить обязательство".
Добавление подготовленных единиц пропускной способности в существующие обязательства
Добавление PTUs в существующее обязательство позволит создавать более крупные или более многочисленные развертывания в ресурсе. Это можно сделать в любое время в течение срока вашего обязательства.
Внимание
При добавлении PTUS в обязательство они будут выставляться немедленно по тарифу с текущей даты до конца существующего срока обязательства. Добавление PTUs не сбрасывает срок обязательства.
Изменение параметров продления
Параметры продления обязательств можно изменить в любое время до истечения срока действия вашего обязательства. Причины, по которым может потребоваться изменить параметры продления, включают прекращение использования подготовленной пропускной способности путем установки обязательства на автоматическое продление или уменьшения использования подготовленной пропускной способности, уменьшая количество ПТП, которые будут зафиксированы в следующем периоде.
Внимание
Если вы разрешаете истечение срока действия или уменьшение размера, чтобы развертывания в ресурсе требовали больше PTUS, чем у вас есть в обязательстве по ресурсам, вы получите почасовую плату за превышение ПТУ. Например, ресурс с развертываниями, в общей сложности 500 ПТП и обязательство по 300 ПТУ будет создавать почасовые расходы за 200 ПТП.
Мониторинг обязательств и предотвращение непредвиденных выставления счетов
Область управления обязательствами предоставляет широкий обзор всех ресурсов с обязательствами и использованием PTU в данной подписке Azure. Особые интересы:
- PTUs Committed, Deployed and Usage — эти цифры предоставляют размеры ваших обязательств и сколько используется в развертываниях. Максимальное увеличение инвестиций с помощью всех выделенных ПТП.
- Политика окончания срока действия и дата — дата окончания срока действия и политика сообщают вам, когда срок действия обязательства истекает, и что произойдет при выполнении. Обязательство, установленное для автоматического продления, создаст событие выставления счетов на дату продления. Для обязательств, истекающих срок действия, убедитесь, что вы удаляете развертывания из этих ресурсов до даты окончания срока действия, чтобы предотвратить почасовое выставление счетов в текущих параметрах продления для обязательства.
- Уведомления — оповещения относительно важных условий, таких как неиспользуемые обязательства, и конфигурации, которые могут привести к превышению счетов. Превышение счетов может быть вызвано такими ситуациями, как срок действия обязательства и развертывание по-прежнему присутствуют, но перемещены на почасовую выставление счетов.
Распространенные сценарии управления обязательствами
Прекращение использования подготовленной пропускной способности
Чтобы завершить использование подготовленной пропускной способности и предотвратить почасовое превышение расходов после истечения срока действия обязательств, остановите все расходы после истечения срока действия текущих обязательств, необходимо выполнить два шага:
- Задайте политику продления для всех обязательств, чтобы не выполнять автоматическое восстановление.
- Удалите подготовленные развертывания с помощью квоты.
Перемещение обязательства или развертывания в новый ресурс в той же подписке или регионе
В Azure OpenAI Studio невозможно переместить развертывание или обязательство в новый ресурс напрямую. Вместо этого необходимо создать новое развертывание на целевом ресурсе и трафике, перемещенном в него. Для этого необходимо будет приобрести обязательство, приобретенное на новом ресурсе. Поскольку обязательства взимается заранее за 30-дневный период, необходимо время этого шага с истечением срока действия первоначальной обязательства, чтобы свести к минимуму перекрытие с новым обязательством и "двойным выставлением счетов" во время перекрытия.
Существует два подхода, которые можно использовать для реализации этого перехода.
Вариант 1. Переключение без перекрытия
Этот параметр требует некоторого простоя, но не требует дополнительной квоты и не создает дополнительных затрат.
| Шаги | Примечания. |
|---|---|
| Задайте политику продления для существующего обязательства, срок действия которого истекает | Это позволит предотвратить продление и создание дополнительных расходов на обязательство |
| Перед истечением срока действия существующего обязательства удалите его развертывание | Время простоя начнется на этом этапе и будет длиться до создания нового развертывания и перемещения трафика. Вы свести к минимуму длительность, за счет того, что удаление будет происходить как можно ближе к дате и времени окончания срока действия. |
| После истечения срока действия существующего обязательства создайте обязательство по новому ресурсу. | Свести к минимуму время простоя, выполнив этот и следующий шаг как можно скорее после истечения срока действия. |
| Создайте развертывание на новом ресурсе и переместите трафик на него |
Вариант 2. Перекрытие переключения
Этот параметр не имеет времени простоя, имея как существующие, так и новые развертывания одновременно. Для этого требуется наличие квоты для создания нового развертывания и создание дополнительных затрат на время перекрывающихся развертываний.
| Шаги | Примечания. |
|---|---|
| Задайте политику продления для существующего обязательства, срок действия которого истекает | Это позволяет предотвратить продление и создание дополнительных расходов. |
| До истечения срока действия существующего обязательства: 1. Создайте обязательство по новому ресурсу. 2. Создайте новое развертывание. 3. Переключение трафика 4. Удаление существующего развертывания |
Убедитесь, что вы оставьте достаточно времени для всех шагов до истечения срока действия существующего обязательства, в противном случае плата за превышение расходов будет создана (см. следующий раздел) для параметров. |
Если последний шаг занимает больше времени, чем ожидалось, и завершится после истечения срока действия существующего обязательства, существует три варианта, чтобы свести к минимуму расходы на превышение.
- Время простоя: удалите исходное развертывание, а затем завершите перемещение.
- Оплата почасовой оплаты: сохраните исходное развертывание и платите почасовой оплаты, пока не переместите трафик и не удалили развертывание.
- Сбросьте исходное обязательство на продление еще раз. Это даст вам время для завершения перемещения с известной стоимостью.
Плата за превышение и сброс исходного обязательства приведет к возникновению расходов за пределами исходной даты окончания срока действия. Плата за превышение расходов может быть дешевле, чем новое одномесячное обязательство, если вам потребуется только день или два для завершения перемещения. Сравните затраты обоих вариантов, чтобы найти подход с наименьшей стоимостью.
Перемещение развертывания в новый регион и подписку
Те же подходы применяются при перемещении обязательств и развертывания в регионе, за исключением того, что наличие доступной квоты в новом расположении потребуется во всех случаях.
Просмотр и изменение существующего ресурса
В Azure OpenAI Studio выберите обязательства по управлению квотами>>и выберите ресурс с существующим обязательством по просмотру и изменению.