Введение
MLOps (DevOps для машинного обучения) позволяет специалистам по обработке и анализу данных работать совместно с ИТ-подразделениями для повышения скорости разработки и развертывания моделей с помощью мониторинга, проверки и управления моделями машинного обучения. MLOps приносит философию DevOps в область машинного обучения путем автоматизации комплексных рабочих процессов. MLOps является частью Машинного обучения Azure и может быть развернут на устройствах IoT Edge.
Сквозный жизненный цикл Машинное обучение показан ниже:
Создайте модели с повторно используемыми конвейерами Машинное обучение с помощью расширения Машинное обучение Azure для Azure DevOps. Сохраните код в GitHub, чтобы он автоматически интегрируется в конвейер MLOps.
Автоматизируйте развертывание MLOps с помощью Azure DevOps и Машинного обучения Azure для моделей версий с богатыми метаданными и управлением событиями.
Автоматическое создание аудиторского следа для всех артефактов в конвейере MLOps гарантирует целостность активов и соответствие нормативным требованиям.
Развертывайте и отслеживайте производительность, чтобы можно было выпускать модели с уверенностью и знать, когда необходимо переобучение.
Просматривайте сведения о модели смещения данных и обратной связи, чтобы улучшить обучение в будущем.
Развертывание моделей машинного обучения в рабочей среде представляет собой один из самых чувствительных моментов в рабочем процессе. Процесс развертывания представляет дополнительные трудности, если целевой платформой является IoT Edge. Например:
Модели машинного обучения Интернета вещей быстро изменяются, поэтому они ухудшаются быстрее (с учетом смещения данных текущих данных). Поэтому им требуется более частое и автоматическое переобучение.
Модели машинного обучения IoT необходимо развертывать на различных целевых платформах, при этом необходимо пользоваться возможностями этих платформ с точки зрения производительности, безопасности и т. д.
Решениям IoT Edge может быть необходимо работать в автономном режиме, поэтому требуется разрешить автономную работу с частотой обновления для моделей.
Сценарий
Предположим, вы работаете в нефтегазовой отрасли и несете ответственность за поддержку тысяч нефтяных и газовых насосов, работающих на удаленных или даже располагающихся в море объектах. Как бы далеко они ни находились, ваш коллектив должен быстро выявлять и устранять ошибки на местах. Поэтому необходимо создать и развернуть систему прогнозного обслуживания для насосов. Перед созданием модели прогнозного обслуживания необходимо сначала реализовать систему для удаленного мониторинга подключенных устройств, чтобы получать данные датчиков в потоке, обрабатывать эти данные и сохранять их в базе данных. В настоящее время ваш коллектив достиг этой цели с помощью IoT Edge. Вы можете собирать данные с многочисленных датчиков, подключенных к насосам на объектах. В настоящее время аномалии обнаруживаются визуально на панели мониторинга. Поэтому ваши инженеры хотят развернуть новую систему прогнозного обслуживания, которая сможет обнаруживать аномалии за счет актуальных моделей машинного обучения. Модели, создаваемые новой системой прогнозного обслуживания, должны динамически отражать текущее состояние данных путем учета смещения данных. Следовательно, система должна обеспечить частное и автоматическое переобучение моделей для указания состояния. Также необходимо будет развертывать обученные модели на различных насосах от разных производителей. Система должна использовать уникальные характеристики программного обеспечения на насосах: как для производительности, так и для обеспечения безопасности. Наконец, развернутые модели должны работать в автономном режиме на пограничном устройстве при необходимости. Компания может значительно сократить затраты на обслуживание и производство, а также повысить безопасность на рабочих местах и снизить воздействие на окружающую среду за счет достижения этих целей.
Этот модуль охватывает систему управления версиями, воспроизводимый конвейер обучения, хранилище моделей и управление версиями, упаковку моделей, проверку моделей, развертывание, мониторинг моделей в рабочей среде и переобучение моделей в контексте устройств IoT Edge.
В этом модуле объясняется значимость MLOps для IoT Edge в контексте приведенного выше сценария разработки и развертывания моделей машинного обучения.