Каталог моделей и коллекции
Каталог моделей в Студия машинного обучения Azure — это центр для обнаружения и использования широкого спектра моделей, позволяющих создавать приложения сгенерируемым искусственным интеллектом. Каталог моделей включает сотни моделей в таких поставщиках моделей, как служба Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, включая модели, обученные корпорацией Майкрософт. Модели от поставщиков, отличных от корпорации Майкрософт, являются продуктами, отличными от Майкрософт, как определено в условиях продукта Майкрософт, и соответствуют условиям, предоставленным моделью.
Коллекции моделей
Модели организованы коллекциями в каталоге моделей. В каталоге моделей есть три типа коллекций:
- Модели, управляемые Azure AI: самые популярные сторонние открытые модели веса и собственные модели упакованы и оптимизированы для эффективной работы на платформе ИИ Azure. Использование этих моделей распространяется на условия лицензии поставщика моделей, предоставляемые моделью. При развертывании в Машинное обучение Azure доступность модели распространяется на применимые соглашения об уровне обслуживания Azure, а корпорация Майкрософт предоставляет поддержку проблем с развертыванием. Модели от партнеров, таких как Meta, NVIDIA, Mistral AI, являются примерами моделей, доступных в коллекции "Курируемый СИ Azure" в каталоге. Эти модели можно определить зеленым проверка марком на плитках модели в каталоге или фильтровать по коллекции "Curated by Azure AI".
- Модели Azure OpenAI, доступные исключительно в Azure: флагманские модели Azure OpenAI через коллекцию Azure OpenAI через интеграцию со службой Azure OpenAI. Эти модели поддерживаются корпорацией Майкрософт, и их использование распространяется на условия продукта и соглашение об уровне обслуживания для Azure OpenAI Service.
- Открытые модели из концентратора распознавания лиц Hugging: сотни моделей из концентратора HuggingFace доступны через коллекцию Hugging Face для вывода в режиме реального времени с сетевыми конечными точками. Обнимающее лицо создает и поддерживает модели, перечисленные в коллекции HuggingFace. Для получения помощи воспользуйтесь форумом HuggingFace или службой поддержки HuggingFace. Узнайте больше о развертывании моделей из Hugging Face.
Предлагая дополнения к каталогу моделей: вы можете отправить запрос на добавление модели в каталог моделей с помощью этой формы.
Общие сведения о возможностях каталога моделей
Сведения о моделях Azure OpenAI см. в службе Azure OpenAI.
Для моделей , курируемых с помощью ИИ Azure и Открытых моделей из концентратора распознавания лиц Hugging, некоторые из них можно развернуть как конечные точки в режиме реального времени, а некоторые из них доступны для развертывания с помощью выставления счетов по мере использования (модели как услуга). Эти модели можно обнаружить, сравнить, оценить, точно настроить (при поддержке) и развернуть в масштабе и интегрировать в приложения Генерированного ИИ с корпоративным классом безопасности и управления данными.
- Обнаружение: просмотр моделей карта, примеры вывода и просмотр примеров кода для оценки, точной настройки или развертывания модели.
- Сравнение: сравнивайте тесты между моделями и наборами данных, доступными в отрасли, чтобы оценить, какой из них соответствует вашему бизнес-сценарию.
- Оценка. Оцените, подходит ли модель для конкретной рабочей нагрузки, предоставив собственные тестовые данные. Метрики оценки позволяют легко визуализировать, насколько хорошо выбранная модель работает в вашем сценарии.
- Тонкой настройки. Настройка точной настройки моделей с помощью собственных обучающих данных и выбор оптимальной модели путем сравнения метрик во всех заданиях точной настройки. Встроенные оптимизации ускоряют настройку и сокращают объем памяти и вычислительные ресурсы, необходимые для точной настройки.
- Развертывание: развертывание предварительно обученных моделей или точно настроенных моделей для вывода. Можно также скачать модели, которые можно развернуть в конечных точках реального времени.
Развертывание модели: конечные точки и модели в режиме реального времени как услуга (оплата по мере использования)
Каталог моделей предлагает два различных способа развертывания моделей из каталога для использования: конечные точки в режиме реального времени и вывод по мере использования. Варианты развертывания, доступные для каждой модели, различаются; Дополнительные сведения о функциях параметров развертывания и параметрах, доступных для конкретных моделей, см. в таблицах ниже. Дополнительные сведения об обработке данных с параметрами развертывания.
| Функции | Вывод в режиме реального времени с управляемыми сетевыми конечными точками | Оплата по мере использования с моделями как услуга |
|---|---|---|
| Интерфейс развертывания и выставление счетов | Вес модели развертывается в выделенных Виртуальные машины с управляемыми конечными точками Online. Управляемая конечная точка в сети, которая может иметь одно или несколько развертываний, предоставляет REST API для вывода. Плата взимается за базовые часы виртуальных машин, используемых развертываниями. | Доступ к моделям осуществляется через развертывание, которое подготавливает API для доступа к модели. API предоставляет доступ к модели, размещенной в центральном пуле GPU, управляемом корпорацией Майкрософт, для вывода. Этот режим доступа называется "Модели как услуга". Плата за входные и выходные данные в API обычно взимается в маркерах; Перед развертыванием предоставляются сведения о ценах. |
| Проверка подлинности API | Ключи и проверка подлинности идентификатора Microsoft Entra. Подробнее. | Только ключи. |
| Безопасность содержимого | Используйте API службы содержимого Azure Сейф ty. | Фильтры содержимого azure AI Сейф ty доступны интегрированными с API вывода. Счета за Сейф фильтры содержимого ИИ Azure могут взиматься отдельно. |
| Сетевая изоляция | Управляемые виртуальная сеть с сетевыми конечными точками. Подробнее. |
Параметры развертывания
| Модель | Конечные точки для прогнозирования в реальном времени | Оплата по мере использования |
|---|---|---|
| Семейные модели Ламы | Лама-2-7b Лама-2-7b-чат Лама-2-13b Ллома-2-13b-чат Лама-2-70b Ллома-2-70b-чат Лама-3-8B-Instruct Лама-3-70B-Instruct Лама-3-8B Лама-3-70B |
Лама-3-70B-Instruct Лама-3-8B-Instruct Лама-2-7b Лама-2-7b-чат Лама-2-13b Ллома-2-13b-чат Лама-2-70b Ллома-2-70b-чат |
| Модели семейства Мистралей | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Мистраль-большой Мистраль-маленький |
| Модели семейства Cohere | Недоступно | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-многоязычный |
| Другие модели | Доступно | Недоступно |
Конечные точки для прогнозирования в реальном времени
Возможность развертывания моделей в конечных точках в режиме реального времени основана на возможностях платформы Машинное обучение Azure для обеспечения простой интеграции в течение всего жизненного цикла LLMOps в широком наборе моделей в каталоге моделей.
Как модели становятся доступными для конечных точек реального времени?
Модели становятся доступными с помощью Машинное обучение Azure реестров, которые позволяют машинному обучению использовать первый подход к размещению и распространению Машинное обучение ресурсов, таких как вес модели, среды выполнения контейнеров для выполнения моделей, конвейеров для оценки и точной настройки моделей и наборов данных для тестов и примеров. Эти реестры машинного обучения создаются на основе высокомасштабируемой и корпоративной готовой инфраструктуры, которая:
Предоставляет артефакты модели доступа с низкой задержкой во всех регионах Azure с встроенным геоизбытием реплика.
Поддерживает корпоративные требования к безопасности в качестве ограничения доступа к моделям с Политика Azure и безопасным развертыванием с управляемыми виртуальными сетями.
Оценка и настройка моделей, развернутых в качестве конечных точек в режиме реального времени
Вы можете оценить и точно настроить коллекцию "Curated by Azure AI" в Машинное обучение Azure с помощью Машинное обучение Azure Pipelines. Вы можете использовать собственный код оценки и точной настройки, а также просто вес модели доступа или использовать Машинное обучение Azure компоненты, которые предлагают встроенные возможности оценки и тонкой настройки. Дополнительные сведения см . по этой ссылке.
Развертывание моделей для вывода в качестве конечных точек в режиме реального времени
Модели, доступные для развертывания в конечных точках реального времени, можно развернуть в Машинное обучение Azure сетевых конечных точек для вывода в режиме реального времени или использовать для Машинное обучение Azure пакетного вывода для пакетной обработки данных. Для развертывания в сетевых конечных точках требуется квота виртуальной машины в подписке Azure для определенных номеров SKU, необходимых для оптимального запуска модели. Некоторые модели позволяют развертывать временно общую квоту для тестирования модели. Дополнительные сведения о развертывании моделей:
- Развертывание моделей Meta Llama
- Развертывание открытых моделей, созданных СИ Azure
- Развертывание моделей распознавания лиц
Создание созданных приложений ИИ с помощью конечных точек в режиме реального времени
Поток запросов предлагает возможности прототипа, экспериментирования, итерации и развертывания приложений ИИ. Модели, развернутые как конечные точки в режиме реального времени, можно использовать в потоке запросов с помощью средства Open Model LLM. Вы также можете использовать REST API, предоставляемые конечными точками реального времени, в популярных инструментах LLM, таких как LangChain с расширением Машинное обучение Azure.
Безопасность содержимого для моделей, развернутых в качестве конечных точек в режиме реального времени
Служба azure AI Content Сейф ty (AACS) доступна для использования с конечными точками в режиме реального времени для отображения различных категорий вредного содержимого, таких как сексуальное содержимое, насилие, ненависть, ненависть, а также дополнительные угрозы, такие как обнаружение рисков в тюрьме и обнаружение защищенного текста. Вы можете обратиться к этой записной книжке для справки по интеграции с AACS для Llama 2 или использовать средство Content Сейф ty (Text) в потоке запросов для передачи ответов от модели в AACS для проверки. Вы будете выставляться отдельно по тарифам AACS для такого использования.
Работа с моделями, не в каталоге моделей
Для моделей, недоступных в каталоге моделей, Машинное обучение Azure предоставляет открытую и расширяемую платформу для работы с моделями вашего выбора. Модель можно использовать с любой платформой или средой выполнения с помощью открытых и расширяемых возможностей платформы Машинное обучение Azure, таких как Машинное обучение Azure среды для контейнеров, которые могут упаковыть платформы и среды выполнения и Машинное обучение Azure конвейеры. для кода для оценки или точной настройки моделей. См. в этой записной книжке пример ссылки на импорт моделей и работу со встроенными средами выполнения и конвейерами.
Модели как услуга (оплата по мере использования)
Некоторые модели в каталоге моделей можно развернуть с помощью выставления счетов по мере использования; этот метод развертывания называется Models-as-a Service (MaaS). Модели, доступные через MaaS, размещаются в инфраструктуре, управляемой корпорацией Майкрософт, которая обеспечивает доступ на основе API к модели поставщика моделей. Доступ на основе API может значительно сократить затраты на доступ к модели и значительно упростить процесс подготовки. Большинство моделей MaaS приходят с ценами на основе токенов.
Как доступны сторонние модели в MaaS?
Модели, доступные для развертывания с оплатой по мере использования, предлагаются поставщиком моделей, но размещены в инфраструктуре Azure, управляемой корпорацией Майкрософт, и доступ к которым осуществляется через API. Поставщики моделей определяют условия лицензии и задают цену на использование своих моделей, а служба Машинное обучение Azure управляет инфраструктурой размещения, делает интерфейсы API вывода доступными и выступает в качестве обработчика данных для запросов, отправленных и выходных данных содержимого моделями, развернутыми с помощью MaaS. Дополнительные сведения об обработке данных для MaaS см. в статье о конфиденциальности данных.
Оплата использования модели в MaaS
Интерфейс обнаружения, подписки и потребления моделей, развернутых с помощью MaaS, находится в Azure AI Studio и Студия машинного обучения Azure. Пользователи принимают условия лицензии для использования моделей, а во время развертывания предоставляются сведения о ценах на потребление. Счета за модели сторонних поставщиков выставляются через Azure Marketplace в соответствии с условиями использования коммерческой платформы; модели от Майкрософт выставляются с помощью счетчиков Azure в качестве служб потребления первой стороны. Как описано в условиях продукта, службы потребления первой стороны покупаются с помощью счетчиков Azure, но не применяются к условиям обслуживания Azure. Использование этих моделей распространяется на условия лицензии.
Развертывание моделей вывода с помощью MaaS
Развертывание модели с помощью MaaS позволяет пользователям получать доступ к готовым к использованию API вывода без необходимости настраивать инфраструктуру или подготавливать графические процессоры, экономя время и ресурсы. Эти API можно интегрировать с несколькими средствами LLM и использованием, как описано в предыдущем разделе.
Детализируйте модели с помощью MaaS с оплатой по мере использования
Для моделей, доступных с помощью MaaS и поддержки точной настройки, пользователи могут воспользоваться преимуществами размещенной точной настройки с оплатой по мере использования для настройки моделей с использованием предоставленных данных. Дополнительные сведения см. в статье о точной настройке модели Llama 2 в Azure AI Studio.
RAG с моделями, развернутыми с помощью MaaS
Azure AI Studio позволяет пользователям использовать векторные индексы и получение дополненного поколения. Модели, которые можно развернуть с помощью MaaS, можно использовать для создания внедрения и вывода на основе пользовательских данных для создания ответов, характерных для их варианта использования. Дополнительные сведения см. в разделе "Получение дополненного поколения" и индексов.
Региональная доступность предложений и моделей
Развертывание с оплатой по мере использования доступно только для пользователей, подписка Azure которой принадлежит учетной записи выставления счетов в стране, где поставщик моделей сделал предложение доступным (см. статью "Регион доступности предложения" в таблице в следующем разделе). Если предложение доступно в соответствующем регионе, пользователь должен иметь рабочую область в регионе Azure, где модель доступна для развертывания или тонкой настройки, как применимо (см. столбцы "Регион рабочей области" в таблице ниже).
| Модель | Регион доступности предложения | Регион рабочей области для развертывания | Область рабочей области для точного обучения |
|---|---|---|---|
| Лама-3-70B-Instruct Лама-3-8B-Instruct |
Управляемые страны Майкрософт | Восточная часть США 2, Центральная Швеция | Недоступно |
| Лама-2-7b Лама-2-13b Llama-2-70b |
Управляемые страны Майкрософт | Восточная часть США 2, западная часть США 3 | Западная часть США — 3 |
| Лама-2-7b-чат Ллома-2-13b-чат Ллома-2-70b-чат |
Управляемые страны Майкрософт | Восточная часть США 2, западная часть США 3 | Недоступно |
| Мистраль-Большой Мистраль Маленький |
Управляемые страны Майкрософт | Восточная часть США 2, Центральная Швеция | Недоступно |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-многоязычный |
Управляемые страны Майкрософт Япония |
Восточная часть США 2, Центральная Швеция | Недоступно |
Безопасность содержимого для моделей, развернутых с помощью MaaS
Машинное обучение Azure реализует конфигурацию по умолчаниюСодержимое ИИ Azure Сейф сти фильтров модерации текста для вредоносного содержимого (сексуального содержимого, насилия, ненависти и самоповредения) для языковых моделей, развернутых с помощью MaaS. Дополнительные сведения о фильтрации содержимого. Фильтрация содержимого выполняется синхронно, так как процессы службы запрашивают создание содержимого, и вы можете выставляться отдельно по тарифам AACS для такого использования. Выполните эту форму, чтобы отключить фильтрацию содержимого для моделей, развернутых как услуга.
Подробнее
- Узнайте, как использовать базовые модели в Машинное обучение Azure для точной настройки, оценки и развертывания с помощью методов Студия машинного обучения Azure пользовательского интерфейса или кода.
- Изучите каталог моделей в Студия машинного обучения Azure. Для изучения каталога требуется рабочая область Машинное обучение Azure.
- Вычисляйте, настраивайте и развертывайте модели, проверенные Машинное обучение Azure.