Обучение и инструктирование по процедурам на основе смешанной реальностиTraining and procedural guidance powered by mixed reality

Концепция решения Solution Idea

Если вы хотите ознакомиться с этой статьей, дополнительные сведения (сведения о реализации, рекомендации по ценам, примеры кода и т. д.), сообщите нам о отзывах в GitHub!If you'd like to see us expand this article with more information (implementation details, pricing guidance, code examples, etc), let us know with GitHub Feedback!

Позвольте своей команде и сотрудникам быстрее изучать новые процессы и материалы с меньшим количеством ошибок и большей уверенностью, предоставляя постоянные голографические инструкции, нанесенных в точных местах их физической рабочей области.Enable your team and employees to learn new processes and materials faster, with fewer errors, and greater confidence by providing persistent holographic instructions mapped to precise locations in their physical workspace. Быстрое обучение сотрудников с помощью таких устройств, как устройства HoloLens.Jumpstart employee comprehension with head-up, hands-free experiences using HoloLens devices. С помощью пространственных привязок Azure можно размещать направления для наиболее важных объектов процедуры и возвращаться к этому содержимому с течением времени.And with Azure Spatial Anchors, you can place directions on the procedure's most important objects and return to this content over time.

АрхитектураArchitecture

Схема архитектуры . Скачайте SVG этой архитектуры.Architecture Diagram Download an SVG of this architecture.

Поток данныхData Flow

  1. Пользователь, создающий сеанс обучения, выполняет проверку подлинности с использованием учетных данных Azure Active Directory из HoloLens.The user creating the training session authenticates using their Azure Active Directory credentials from HoloLens.
  2. Клиентское приложение подключается к своей собственной веб-службе для создания сеанса обучения.The client application connects to its own web service to create a training session. Метаданные об этом сеансе обучения хранятся в Azure Cosmos DB.Metadata about that training session is stored in Azure Cosmos DB.
  3. Пользователь проверяет окружение и помещает первую привязку, где должно выполняться первое действие процедуры.The user scans the environment and places a first anchor where the first step of the procedure needs to happen. Пространственные привязки Azure проверяют, имеет ли пользователь достаточные разрешения для создания привязок через Azure AD, а затем сохраняет привязку.Azure Spatial Anchors validates that the user has sufficient permissions to create anchors via Azure AD, and then stores the anchor.
  4. Пользователь записывает видео процедуры в HoloLens и отправляет его в Azure.The user records a video of the procedure on HoloLens and uploads it to Azure
  5. Видео кодируется с помощью служб мультимедиа и подготовлено к просмотру по запросу, а также обрабатывается с помощью индексатора видео для улучшения поиска содержимого.The video is encoded with Media Services and prepared for on-demand viewing, as well as processed with Video Indexer for better content search. Индексатор видео хранит метаданные на Azure Cosmos DB.Video Indexer stores the metadata on Azure Cosmos DB.
  6. Приложение сохраняет в веб-службе идентификатор привязки для первого шага вместе со ссылкой на видео.The app saves against its web service the anchor ID for that first step, alongside a link to the video.
  7. Пользователь, в том же сеансе, переходит к шагу 2, помещает в него привязку и снова записывает видео процедуры и сохраняет полученный идентификатор привязки и ссылку на видео в своей веб-службе.The user, in the same session, then moves on to step 2, places an anchor there, and again records a video of the procedure and saves the resulting anchor ID and video link to its web service. Затем этот процесс повторяется до тех пор, пока не будут выполнены все шаги в процедуре.That process is then repeated until all steps in the procedure are executed. Когда пользователь переходит с шага на шаг, предыдущие привязки по-прежнему отображаются с соответствующим номером шага.As the user moves from step to step, previous anchors are still visible with their respective step number.
  8. Обучаемый входит в, выбирает сеанс обучения, получает идентификаторы привязки и ссылки на видео, которые являются частью процедуры.A trainee comes in, selects the training session, retrieves anchor IDs and links to videos that are part of the procedure.
  9. Обучаемый сканирует комнату, чтобы найти привязки, указывающие на реальное расположение каждого шага в процедуре.The trainee scans the room to find the anchors indicating the real-world location of each step in the procedure. Как только она будет найдена, все привязки будут извлечены и показаны в приложении.As soon as one is found, all anchors are retrieved and shown in the app.
  10. Затем обучаемый может переследить точные шаги эксперта, который записал процедуру, и просмотреть holographic в течение каждого шага в нужном месте лаборатории.The trainee can then retrace the exact steps of the expert who recorded the procedure, and view holographic videos of each step at the right location in the lab.

ComponentsComponents

  • Пространственные привязки: создание многопользовательского и пространственно-совместимого режима работы смешанной реальностиSpatial Anchors: Create multi-user, spatially aware mixed reality experiences
  • Azure Active Directory: Синхронизация локальных каталогов и включение единого входаAzure Active Directory: Synchronize on-premises directories and enable single sign-on
  • Azure Cosmos DB: глобально распределенная база данных с несколькими моделями для любого масштабаAzure Cosmos DB: Globally distributed, multi-model database for any scale
  • Служба приложений: быстрое создание эффективных облачных приложений для Интернета и мобильных устройствApp Service: Quickly create powerful cloud apps for web and mobile
  • Службы мультимедиа: кодирование, хранение и потоковая передача видео и звука в масштабеMedia Services: Encode, store, and stream video and audio at scale
  • Индексатор видео: Сделайте носитель более обнаруживаемым и доступнымVideo Indexer: Make your media more discoverable and accessible

Следующие шагиNext steps