Инженер по пограничным устройствам на основе ИИ

Начальный уровень
Инженер по искусственному интеллекту
Специалист по обработке и анализу данных
Azure
Azure IoT
Azure Cloud Shell
Экземпляры контейнеров Azure
Реестр контейнеров Azure
Azure IoT Edge
Центр Интернета вещей Azure
Машинное обучение Azure
Azure Resource Manager
Виртуальные машины Azure

Сфера взаимодействия между ИИ, облаком и пограничными устройствами стремительно развивается. Сейчас многие решения Интернета вещей основаны на базовой телеметрии. Функция телеметрии получает данные с пограничных устройств и сохраняет их в хранилище данных. Наш подход выходит за рамки базовой телеметрии. Мы стремимся моделировать задачи реального мира с помощью алгоритмов машинного обучения и глубокого обучения, а также реализовать модель с помощью искусственного интеллекта и облака на пограничных устройствах. Модель обучается в облаке и развертывается на пограничном устройстве. Развертывание на пограничном устройстве предоставляет цикл обратной связи для улучшения бизнес-процесса (цифровое преобразование).

В этой схеме обучения мы используем междисциплинарный инженерный подход. Мы стремимся создать стандартный шаблон для многих сложных областей для развертывания ИИ на пограничных устройствах, таких как беспилотные летательные аппараты и т. д. Схема обучения представляет стратегии реализации для развивающегося ландшафта сложных приложений ИИ. Центральным элементом этого подхода являются контейнеры. При развертывании на пограничных устройствах контейнеры могут инкапсулировать среды развертывания для разнообразных аппаратных средств. CICD (непрерывная интеграция — непрерывное развертывание) — это логическое расширение для развертывания контейнеров на пограничных устройствах. В следующих модулях этой схемы обучения мы можем использовать другие методы, такие как бессерверные вычисления и развертывание в единицах микроконтроллера.

Инженерный подход лежит в основе тем / педагогов для инженерного образования, таких как

  • Системный анализ
  • Экспериментирование и решение проблем
  • Улучшение с помощью экспериментов
  • Развертывание и анализ с помощью тестирования
  • Влияние на другие технологические области
  • Прогнозирование поведения компонента или системы
  • Рекомендации по проектированию
  • Работа в пределах ограничений и отклонений и конкретных условий эксплуатации, например, ограничений устройств
  • Вопросы безопасности и защиты
  • Разработка инструментов для создания решений
  • Улучшение процессов — использование пограничных устройств (Интернета вещей) для формирования аналитической обратной связи с бизнес-процессом с целью управления процессами
  • Социальное воздействие проектирования
  • Эстетическое воздействие конструирования и проектирования
  • Развертывания в масштабе
  • Решение сложных бизнес-задач благодаря комплексному развертыванию ИИ, пограничных устройств и облачных решений.

В конечном итоге технологии ИИ, облачные технологии и пограничные устройства, развернутые в качестве контейнеров в режиме CICD, позволяют преобразовывать целые отрасли путем создания экосистем с возможностью самостоятельного обучения для конкретной отрасли, охватывающих всю цепочку создания стоимости. Наша задача состоит в создании такого набора шаблонов и методологий для развертывания ИИ на пограничных устройствах в контексте облака. В этой схеме обучения вы получите следующие сведения:

  • Сведения о создании решений с помощью Интернета вещей и облака
  • Общие сведения о развертывании решений на основе Интернета вещей на пограничных устройствах
  • Сведения о реализации моделей для пограничных устройств с использованием контейнеров
  • Сведения об использовании DevOps для пограничных устройств

Создан в партнерстве с Оксфордским университетом — Аджит Джаокар, искусственный интеллект: облачные и пограничные реализации.

Предварительные требования

нет

Модули, включенные в эту схему обучения

Охарактеризуйте типы бизнес-процессов, в которые Azure IoT может добавить ценность. Опрос служб Интернета вещей Azure, таких как Центр Интернета вещей и IoT Central, которые помогают создавать решения Интернета вещей.

Здесь описана оценка характеристик Центра Интернета вещей Azure и определение сценариев, в которых следует использовать Центр Интернета вещей.

Здесь представлены существенные характеристики IoT Edge и функциональность компонентов IoT Edge (модулей, среды выполнения и облачного интерфейса). Описаны типы проблем, которые можно решить с помощью IoT Edge. Рассмотрено, как можно сочетать элементы IoT Edge, чтобы решить проблему с развертыванием приложений Интернета вещей в облаке.

Здесь описано развертывание предварительно созданного модуля имитатора температуры на устройстве IoT Edge с помощью контейнера. Убедитесь, что модуль успешно создан и развернут, и просмотрите область имитации.

Здесь описана оценка характеристик Функций Azure для Интернета вещей. Описание функций, триггеров и привязок. Демонстрация их объединения для создания масштабируемого решения Интернета вещей. А также описание преимуществ использования облачной инфраструктуры для быстрого развертывания приложений Интернета вещей с помощью Функций Azure.

Создание и развертывание функции Azure для языкового перевода на устройстве Интернета вещей. Функция будет использовать службу речи. Устройство будет записывать голос на иностранном языке и переводить речь на целевой язык.

Реализация службы когнитивных вычислений для распознавания языка на устройстве IoT Edge. Описание компонентов и действий по реализации службы когнитивных вычислений на устройстве IoT Edge.

Проанализируйте значимость MLOps в разработке и развертывании моделей машинного обучения для IoT Edge. Опишите компоненты конвейера MLOps и покажите, как их можно комбинировать для создания моделей, которые могут быть автоматически обучены для устройств IoT Edge.

Определите решение для тестирования состояния виртуальных устройств Azure IoT Edge. Решение будет использовать стратегию CI/CD (непрерывная интеграция и непрерывное развертывание) с помощью Azure DevOps и Azure Pipelines в кластере Kubernetes.

Определите типы бизнес-задач, которые можно решить с помощью Azure Sphere. Изучите возможности и компоненты Azure Sphere (модуль микроконтроллера, операционная система, облачная служба безопасности). Опишите, как компоненты образуют защищенную платформу для разработки, развертывания и поддержки безопасных решений Интернета вещей, подключенных к Интернету.

Реализация модели нейронной сети для классификации изображений в реальном времени на защищенном устройстве на основе микроконтроллера, подключенном к Интернету (Azure Sphere). Описание компонентов и действий для реализации предварительно обученной модели классификации изображений в Azure Sphere.

Разверните приложение на устройстве Azure Sphere для мониторинга состояния окружающей среды в лабораторных условиях. Приложение будет отслеживать состояние среды помещения, подключаться к Центру Интернета вещей и передавать данные телеметрии с устройства в облако. Вы будете контролировать обмен данными между облаком и устройством и при необходимости предпринимать соответствующие действия.

Разверните приложение Azure Sphere для мониторинга состояния окружающей среды в лабораторных условиях. Приложение будет отслеживать состояние среды помещения, подключаться к Azure IoT Central и передавать данные телеметрии с устройства в облако. Вы будете контролировать обмен данными между облаком и устройством и при необходимости предпринимать соответствующие действия.

Создайте решение компьютерного зрения в IoT Edge с помощью служб ИИ Azure и служб службы "Речь Azure". Приложение будет выявлять и идентифицировать отсканированный элемент, а затем преобразовывать имя элемента в речь.

Используйте модуль Аналитики видеотрансляций на IoT Edge и разверните решение машинного обучения "Пользовательское визуальное распознавание" на устройстве IoT Edge. Решение будет обнаруживать пустые места на полках. Убедитесь, что решение успешно развернуто, а затем проверьте его в веб-приложении.

Используйте модуль аналитики видеотрансляций для развертывания решения машинного обучения на устройстве IoT Edge. Решение будет обрабатывать видеопоток с камер и обнаруживать объекты на границе с помощью модели YOLO для операций вывода. Убедитесь, что решение успешно развернуто, а затем проверьте его в веб-приложении.