Изменить

Использование модели классификатора визуального распознавания с Пользовательским визуальным распознаванием Azure (Cognitive Services)

Azure
GitHub

Идеи решения

Эта статья является идеей решения. Если вы хотите расширить содержимое с дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам, предоставив отзыв GitHub.

Эта архитектура использует Пользовательское визуальное распознавание для классификации изображений, созданных смоделированным дроном. Она позволяет объединить возможности искусственного интеллекта (ИИ) и Интернета вещей (IoT). Пользовательское визуальное распознавание Azure также можно использовать для обнаружения объектов.

Архитектура

Diagram of the Search and Rescue Lab architecture to create an image classifier model.

Скачайте файл Visio для этой архитектуры.

Workflow

  1. Используйте трехмерную модель среды для создания изображений с помощью дрона. Используйте изображения в качестве набора данных для обучения.
  2. Импортируйте и пометьте набор данных в проекте Пользовательское визуальное распознавание. Служба Cognitive Service проведет обучение и тестирование модели.
  3. Экспортируйте модель в формат TensorFlow, чтобы ее можно было использовать локально.
  4. Модель также может быть развернута в контейнере или на мобильных устройствах.

Компоненты

Симулятор дрона Microsoft AirSim

Симулятор дрона Microsoft AirSim работает на платформе Unreal Engine. Симулятор — это кроссплатформенный и кроссплатформенный симулятор, который поможет исследованиям ИИ. В этой архитектуре оно создает набор данных изображений, используемых для обучения модели.

Пользовательское визуальное распознавание Azure

Пользовательское визуальное распознавание Azure — компонент служб Azure Cognitive Services. В этой архитектуре он создает модель классификатора изображений.

TensorFlow

TensorFlow — это платформа с открытым кодом для машинного обучения (ML). Это средство, помогающее в разработке и обучении моделей ML. При экспорте модели в формат TensorFlow у вы получаете файл буфера протокола с моделью Пользовательского визуального распознавания, которую можно использовать в скрипте локально.

Подробности сценария

Службы Azure Cognitive Services предлагают множество возможностей для создания решений в области искусственного интеллекта (ИИ). Одним из них является Пользовательское визуальное распознавание Azure — служба, которая позволяет создавать, развертывать и улучшать классификаторы изображений. Эта архитектура использует Пользовательское визуальное распознавание для классификации изображений, созданных смоделированным дроном. Она позволяет объединить возможности искусственного интеллекта (ИИ) и Интернета вещей (IoT). Пользовательское визуальное распознавание Azure также можно использовать для обнаружения объектов.

Возможные сценарии использования

Это решение идеально подходит для спасения, моделирования, роботов, самолетов, аэрокосмических и авиационных отраслей.

В лабораторной работе Майкрософт "Поисково-спасательная операция" предлагается гипотетический вариант использования службы "Пользовательское визуальное распознавание". В этой лабораторной работе вы управляете моделью дрона Microsoft AirSim в смоделированной трехмерной среде. С помощью этого смоделированного дрона создаются синтетические изображения животных в рассматриваемой среде. Созданный набор данных изображений можно использовать для обучения модели классификатора Пользовательского визуального распознавания. Для обучения модели изображения размечаются именами животных. При следующем облете с помощью дрона создаются новые изображения животных. Решение определяет имя животного на каждом новом изображении.

В практической реализации этой лабораторной работы вместо смоделированного дрона Microsoft AirSim используется реальный дрон. В случае потери домашнего животного владелец передает его изображения модулю обучения модели Пользовательского визуального распознавания. Как и в имитации, изображения используются для обучения модели, чтобы она смогла распознать питомца. Затем пилотный дрона выполняет поиск в области, где может находиться потерянное животное. При обнаружении различных животных камера дрона фотографирует их и определяет, является ли данное животное искомым.

Развертывание этого сценария

Для развертывания этой эталонной архитектуры выполните действия, описанные в лабораторной работе "Поисково-спасательная операция" в репозитории GitHub.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участник.

Основные авторы:

Следующие шаги

Ознакомьтесь с другими статьями Центра архитектуры Azure: