ИИ и Машинное обучение в Databricks
В этой статье описаны средства, которые предоставляет Azure Databricks для создания и мониторинга рабочих процессов ИИ и машинного обучения. На схеме показано, как эти компоненты работают вместе, чтобы помочь реализовать процесс разработки и развертывания модели.
Зачем использовать Databricks для машинного обучения и глубокого обучения?
С помощью Azure Databricks можно реализовать полный жизненный цикл машинного обучения на одной платформе с комплексным управлением в конвейере машинного обучения. Azure Databricks включает следующие встроенные средства для поддержки рабочих процессов машинного обучения:
- Каталог Unity для управления, обнаружения, управления версиями и управления доступом для данных, функций, моделей и функций.
- Мониторинг Lakehouse для мониторинга данных.
- Проектирование функций и обслуживание.
- Поддержка жизненного цикла модели:
- Databricks AutoML для автоматического обучения модели.
- MLflow для отслеживания разработки моделей.
- Каталог Unity для управления моделями.
- Модель Databricks, обслуживающая высокодоступную, низкую задержку модели. Это включает развертывание LLM с помощью:
- API-интерфейсы модели Foundation, которые позволяют получать доступ к открытым моделям и запрашивать их состояние из конечной точки обслуживания.
- Внешние модели , позволяющие получить доступ к моделям, размещенным за пределами Databricks.
- Мониторинг Lakehouse для отслеживания качества прогнозирования модели и смещения.
- Рабочие процессы Databricks для автоматизированных рабочих процессов и готовых к работе конвейеров ETL.
- Папки Databricks Git для управления кодом и интеграции Git.
Глубокое обучение в Databricks
Настройка инфраструктуры для приложений глубокого обучения может быть сложной.
Databricks Runtime для Машинное обучение заботится об этом с кластерами, которые имеют встроенные совместимые версии наиболее распространенных библиотек глубокого обучения, таких как TensorFlow, PyTorch и Keras, а также вспомогательные библиотеки, такие как Petastorm, Hyperopt и Horovod. Кластеры машинного обучения Databricks Runtime также включают предварительно настроенную поддержку GPU с драйверами и вспомогательными библиотеками. Она также поддерживает такие библиотеки, как Ray , чтобы параллелизировать обработку вычислений для масштабирования рабочих процессов машинного обучения и приложений искусственного интеллекта.
Кластеры машинного обучения Databricks Runtime также включают предварительно настроенную поддержку GPU с драйверами и вспомогательными библиотеками. Служба моделей Databricks позволяет создавать масштабируемые конечные точки GPU для моделей глубокого обучения без дополнительной конфигурации.
Для приложений машинного обучения Databricks рекомендует использовать кластер, на котором выполняется Databricks Runtime для машинного обучения. См. статью "Создание кластера с помощью машинного обучения среды выполнения Databricks".
Сведения о начале глубокого обучения в Databricks см. в статье:
- Рекомендации по глубокому обучению в Azure Databricks
- Глубокое обучение в Databricks
- Справочные решения для глубокого обучения
Большие языковые модели (LLM) и генеривные ИИ в Databricks
Databricks Runtime для Машинное обучение включает библиотеки, такие как Hugging Face Transformers и LangChain, которые позволяют интегрировать существующие предварительно обученные модели или другие библиотеки с открытым исходным кодом в рабочий процесс. Интеграция Databricks MLflow упрощает использование службы отслеживания MLflow с конвейерами, моделями и компонентами обработки. Кроме того, вы можете интегрировать модели Или решения OpenAI от партнеров, таких как John Snow Labs в рабочих процессах Azure Databricks .
С помощью Azure Databricks вы можете настроить LLM для данных для конкретной задачи. С поддержкой открытый код инструментов, таких как Hugging Face и DeepSpeed, вы можете эффективно взять базовый LLM и обучить его собственными данными, чтобы повысить его точность для конкретного домена и рабочей нагрузки. Затем вы можете использовать пользовательский LLM в создаваемых приложениях ИИ.
Кроме того, Databricks предоставляет API-интерфейсы модели Foundation и внешние модели, которые позволяют получать доступ к открытым моделям и запрашивать их из конечной точки обслуживания. Используя API модели Foundation, разработчики могут быстро и легко создавать приложения, использующие высококачественную модель создания ИИ без поддержки собственного развертывания модели.
Для пользователей SQL Databricks предоставляет функции ИИ, которые аналитики данных SQL могут использовать для доступа к моделям LLM, в том числе из OpenAI, непосредственно в своих конвейерах данных и рабочих процессах. См. функции ИИ в Azure Databricks.
Databricks Runtime для Машинного обучения
Databricks Runtime для Машинное обучение (Databricks Runtime ML) автоматизирует создание кластера с предварительно созданной инфраструктурой машинного обучения и глубокого обучения, включая наиболее распространенные библиотеки машинного обучения и библиотеки DLL. Полный список библиотек в каждой версии Databricks Runtime ML см. в заметках о выпуске.
Чтобы получить доступ к данным в каталоге Unity для рабочих процессов машинного обучения, режим доступа для кластера должен быть одним пользователем (назначен). Общие кластеры несовместимы с Databricks Runtime для Машинного обучения. Кроме того, машинное обучение среды выполнения Databricks не поддерживается в кластерах или кластерах TableACLs с spark.databricks.pyspark.enableProcessIsolation config заданным значением true.
Создание кластера с помощью машинного обучения Databricks Runtime
При создании кластера выберите версию Машинного обучения среды выполнения Databricks в раскрывающемся меню среды выполнения Databricks. Доступны среды выполнения ML с поддержкой ЦП и GPU.
Если выбрать кластер из раскрывающегося меню в записной книжке, версия среды выполнения Databricks появится справа от имени кластера:
Если выбрать среду выполнения машинного обучения с поддержкой GPU, вам будет предложено выбрать совместимый тип драйвера и рабочий тип. Несовместимые типы экземпляров неактивны в раскрывающемся меню. Типы экземпляров с поддержкой GPU перечислены под меткой ускорения GPU.
Примечание.
Чтобы получить доступ к данным в каталоге Unity для рабочих процессов машинного обучения, режим доступа для кластера должен быть одним пользователем (назначен). Общие кластеры несовместимы с Databricks Runtime для Машинного обучения.
Библиотеки, включенные в состав Databricks Runtime ML
Databricks Runtime ML включает различные популярные библиотеки машинного обучения. Библиотеки обновляются в каждом выпуске, включая в себя новые функции и исправления.
Databricks назначил подмножество поддерживаемых библиотек в качестве библиотек верхнего уровня. Для этих библиотек Databricks обеспечивает более быструю частоту обновления, обновляя до последних выпусков пакетов с каждым выпуском среды выполнения (за исключением конфликтов зависимостей). Databricks также предоставляет расширенную поддержку, тестирование и внедренную оптимизацию для библиотек верхнего уровня.
Полный список топ-уровней и других предоставленных библиотек см. в заметках о выпуске databricks Runtime ML.
Следующие шаги
Чтобы начать работу, см. следующие статьи.
Рекомендуемый рабочий процесс MLOps в Databricks Машинное обучение см. в статье:
Дополнительные сведения о ключевых функциях Databricks Машинное обучение см. в следующем разделе: