Инженер по пограничным устройствам на основе ИИ

Начальный уровень
Инженер по искусственному интеллекту
Специалист по обработке и анализу данных
Azure
Интернет вещей
Записные книжки Azure
Cloud Shell
Экземпляры контейнеров
Реестр контейнеров
IoT Edge
Центр Интернета вещей
Машинное обучение
Azure Resource Manager
Виртуальные машины

Сфера взаимодействия между ИИ, облаком и пограничными устройствами стремительно развивается. Сейчас многие решения Интернета вещей основаны на базовой телеметрии. Функция телеметрии получает данные с пограничных устройств и сохраняет их в хранилище данных. Наш подход выходит за рамки базовой телеметрии. Мы стремимся моделировать задачи реального мира с помощью алгоритмов машинного обучения и глубокого обучения, а также реализовать модель с помощью искусственного интеллекта и облака на пограничных устройствах. Модель обучается в облаке и развертывается на пограничном устройстве. Развертывание на пограничном устройстве предоставляет цикл обратной связи для улучшения бизнес-процесса (цифровое преобразование).

В этой схеме обучения мы используем междисциплинарный инженерный подход. Наша цель состоит в создании стандартного шаблона для различных сложных вариантов применения ИИ на пограничных устройствах, таких как дроны, автономные транспортные средства и т. д. В схеме обучения представлены стратегии реализации для развивающейся сферы сложных приложений на основе искусственного интеллекта. Центральным элементом этого подхода являются контейнеры. При развертывании на пограничных устройствах контейнеры могут инкапсулировать среды развертывания для разнообразных аппаратных средств. CICD (непрерывная интеграция — непрерывное развертывание) — это логическое расширение для развертывания контейнеров на пограничных устройствах. В следующих модулях этой схемы обучения мы можем использовать другие методы, такие как бессерверные вычисления и развертывание в единицах микроконтроллера.

Инженерно-ориентированный подход позволяет подкрепить темы и методические подходы к техническому образованию, такие как: 

  • Системный анализ
  • Экспериментирование и решение проблем
  • Улучшение с помощью экспериментов
  • Развертывание и анализ с помощью тестирования
  • Влияние на другие технологические области
  • Прогнозирование поведения компонента или системы
  • Рекомендации по проектированию
  • Работа в пределах ограничений и отклонений и конкретных условий эксплуатации, например, ограничений устройств
  • Вопросы безопасности и защиты
  • Разработка инструментов для создания решений
  • Улучшение процессов — использование пограничных устройств (Интернета вещей) для формирования аналитической обратной связи с бизнес-процессом с целью управления процессами
  • Социальное воздействие проектирования
  • Эстетическое воздействие конструирования и проектирования
  • Развертывания в масштабе
  • Решение сложных бизнес-задач благодаря комплексному развертыванию ИИ, пограничных устройств и облачных решений.

В конечном итоге технологии ИИ, облачные технологии и пограничные устройства, развернутые в качестве контейнеров в режиме CICD, позволяют преобразовывать целые отрасли путем создания экосистем с возможностью самостоятельного обучения для конкретной отрасли, охватывающих всю цепочку создания стоимости. Наша задача состоит в создании такого набора шаблонов и методологий для развертывания ИИ на пограничных устройствах в контексте облака. В этой схеме обучения вы получите следующие сведения:

  • Сведения о создании решений с помощью Интернета вещей и облака
  • Общие сведения о развертывании решений на основе Интернета вещей на пограничных устройствах
  • Сведения о реализации моделей для пограничных устройств с использованием контейнеров
  • Сведения об использовании DevOps для пограничных устройств

Разработано в партнерстве с Оксфордским университетом и Аджитом Джаокаром (Ajit Jaokar) в рамках курса Artificial Intelligence: Cloud and Edge Implementations (Искусственный интеллект: реализации для облака и пограничных устройств).

Предварительные требования

None

Модули, включенные в эту схему обучения

Эта статья поясняет значимость Интернета вещей Azure и решаемые им проблемы. Приведено описание компонентов Интернета вещей Azure и их комбинирования для реализации решений Интернета вещей, которые создают ценность для предприятий.

Здесь описана оценка характеристик Центра Интернета вещей Azure и определение сценариев, в которых следует использовать Центр Интернета вещей.

Здесь представлены существенные характеристики IoT Edge и функциональность компонентов IoT Edge (модулей, среды выполнения и облачного интерфейса). Описаны типы проблем, которые можно решить с помощью IoT Edge. Рассмотрено, как можно сочетать элементы IoT Edge, чтобы решить проблему с развертыванием приложений Интернета вещей в облаке.

Здесь описано развертывание предварительно созданного модуля имитатора температуры на устройстве IoT Edge с помощью контейнера. Убедитесь, что модуль успешно создан и развернут, и просмотрите область имитации.

Развернуть обученный модуль машинного обучения на пограничном устройстве можно с помощью контейнера. Созданный вами модуль машинного обучения будет развернут на устройстве IoT Edge. Вы проверите, был ли образ контейнера успешно создан и сохранен в реестре контейнеров Azure. Вы также просмотрите данные развернутого модуля из IoT Edge.

Здесь описана оценка характеристик Функций Azure для Интернета вещей. Описание функций, триггеров и привязок. Демонстрация их объединения для создания масштабируемого решения Интернета вещей. А также описание преимуществ использования облачной инфраструктуры для быстрого развертывания приложений Интернета вещей с помощью Функций Azure.

Создание и развертывание функции Azure для языкового перевода на устройстве Интернета вещей. Функция будет использовать службу речи. Устройство будет записывать голос на иностранном языке и переводить речь на целевой язык.

Реализация службы когнитивных вычислений для распознавания языка на устройстве IoT Edge. Описание компонентов и действий по реализации службы когнитивных вычислений на устройстве IoT Edge.

Проанализируйте значимость MLOps в разработке и развертывании моделей машинного обучения для IoT Edge. Опишите компоненты конвейера MLOps и покажите, как их можно комбинировать для создания моделей, которые могут быть автоматически обучены для устройств IoT Edge.

Определите решение для тестирования состояния виртуальных устройств Azure IoT Edge. Решение будет использовать стратегию CI/CD (непрерывная интеграция и непрерывное развертывание) с помощью Azure DevOps, Azure Pipelines и Azure Monitor Application Insights в кластере Kubernetes.

Определите типы бизнес-задач, которые можно решить с помощью Azure Sphere. Изучите возможности и компоненты Azure Sphere (модуль микроконтроллера, операционная система, облачная служба безопасности). Опишите, как компоненты образуют защищенную платформу для разработки, развертывания и поддержки безопасных решений Интернета вещей, подключенных к Интернету.

Реализация модели нейронной сети для классификации изображений в реальном времени на защищенном устройстве на основе микроконтроллера, подключенном к Интернету (Azure Sphere). Описание компонентов и действий для реализации предварительно обученной модели классификации изображений в Azure Sphere.

Разверните приложение на устройстве Azure Sphere для мониторинга состояния окружающей среды в лабораторных условиях. Приложение будет отслеживать состояние среды помещения, подключаться к Центру Интернета вещей и передавать данные телеметрии с устройства в облако. Вы будете контролировать обмен данными между облаком и устройством и при необходимости предпринимать соответствующие действия.

Разверните приложение Azure Sphere для мониторинга состояния окружающей среды в лабораторных условиях. Приложение будет отслеживать состояние среды помещения, подключаться к Azure IoT Central и передавать данные телеметрии с устройства в облако. Вы будете контролировать обмен данными между облаком и устройством и при необходимости предпринимать соответствующие действия.