Общий доступ в смешанной реальности

Голограммы не нужно оставаться частными только для одного пользователя. holographic приложений могут совместно использовать пространственные привязки от одного устройства HoloLens, iOS или Android до другого, что позволяет пользователям визуализировать голограмму на одном месте в реальном мире на нескольких устройствах.

Шесть вопросов для определения общих сценариев

Прежде чем начать разработку для совместного использования, важно определить целевые сценарии. Эти сценарии помогут понять, что вы разрабатываете, и создать общий словарь для сравнения и противодействия функциям, необходимым для работы. Основные сведения о базовой проблеме и различных способах решения, являются ключом к обнаружению возможных сделок в этом новом носителе.

благодаря внутренним прототипам и исследованиям наших HoloLens партнеров мы создали шесть вопросов, которые помогут вам определить общие сценарии. Эти вопросы формируют платформу, которая не является исчерпывающей, чтобы помочь в преобразовании важных атрибутов сценариев.

1. как они совместно используются?

Презентация может быть вызвана одним виртуальным пользователем, в то время как несколько пользователей могут совместно работать, или преподаватель может предоставить рекомендации для виртуальных учащихся, работающих с виртуальными материалами. сложность работы возрастает в зависимости от уровня компетентности, которую пользователь имеет или может иметь в сценарии.

Man and women with holograph on table

Существует множество способов поделиться, но мы обнаружили, что большинство из них делятся на три категории:

  • Презентация: когда одно и то же содержимое отображается для нескольких пользователей. Например, профессор предоставляет лекции нескольким учащимся, используя один и тот же материал, представляемый всем. Однако профессор может иметь свои собственные указания и заметки, которые могут быть не видны другим пользователям.
  • Совместнаяработа: когда люди работают вместе для достижения некоторых распространенных целей. Например: профессор, которому был предоставлен проект, чтобы узнать о том, как сделать сердце хирургии. Студенты содействуют и создают навыки работы с общими навыками, благодаря которым медицинские учащиеся могут совместно работать над моделью сердца и изучать ее.
  • Рекомендации: когда один человек помогает решить проблему в нескольких диалогах с одним и тем же стилем. Например, профессор, предоставляющее рекомендации студенту, когда ИТ-специалист выполняет лабораторные хирургии навыки в общем интерфейсе.

2. Каков размер группы?

Обмен данными " один к одному " может обеспечить высокий базовый уровень, и в идеале можно создать эксперименты на этом уровне. Но имейте в виду, что совместное использование с большими группами (за пределами шести пользователей) может привести к проблемам как с технической поддержкой (данными и сетями), так и с социальным доступом (в комнате с несколькими аватарами). Сложность возрастает экспоненциально при переходе от малых к большим группам.

Мы обнаружили, что потребности групп можно разделить на три категории размера:

  • 1:1
  • Малый < 7
  • Крупный > = 7

Размер группы дает важный вопрос, так как он влияет на следующее:

  • Представления людей в holographic пространстве
  • Масштаб объектов
  • Масштаб среды

3. где все?

Сила смешанной реальности вступает в игру, когда общий интерфейс может выполняться в одном и том же месте. Мы вызываем этот соместоположение. И наоборот, когда группа распределена и по крайней мере один участник не находится в одном физическом пространстве (как это часто происходит в случае с VR), мы вызываем удаленный интерфейс. Часто это тот случай, когда у группы есть как коразмещенные, так и удаленные участники (например, две группы в конференц-залах).

Three people with holograph on table

Следующие категории помогают передавать сведения о расположении пользователей:

  • Соразмещено: все пользователи будут находиться в одном и том же физическом пространстве.
  • Удаленный: все пользователи будут находиться в разных физических пространствах.
  • Оба: ваши пользователи будут сочетать совместное размещение и удаленные пространства.

Этот вопрос имеет решающее значение, так как он влияет на следующее:

  • Как люди взаимодействуют?
    • Например: должны ли они иметь аватары?
  • Объекты, которые они видят. Являются ли общие объекты общими?
  • Нужно ли адаптироваться к своей среде?

4. когда они совместно используются?

Как правило, мы думаем о синхронных впечатлениях, когда приходится иметь в виду: все это выполняется совместно. Но если включить один виртуальный элемент, который был добавлен другим пользователем, то у нас есть асинхронный сценарий. Imagine примечание или голосовое напоминание, расположенное в виртуальной среде. Как вы обрабатываете 100 виртуальных записок, оставшихся на вашем проекте? Что делать, если они отличаются от десятков людей с разными уровнями конфиденциальности?

Рассмотрите свои впечатления как одну из следующих категорий времени:

  • Синхронно: совместный доступ к holographic в то же время. Например: два учащихся, выполняющих лабораторию работы одновременно.
  • Асинхронно: совместный доступ к holographic в разное время. Например, два учащегося, которые выполняют лабораторию работы, но работают с отдельными разделами в разное время.
  • И то, идругое: пользователи иногда будут совместно работать синхронно, но в других случаях асинхронно. Например, профессор назначение, выполненное студентами позже, и покидает заметки для учащихся на следующий день.

Этот вопрос важен, так как он влияет на следующее:

  • Сохраняемость объектов и окружения. Например: сохранение состояний, чтобы их можно было извлечь.
  • Перспектива пользователя. Например, можно запоминать, что пользователь просматривает при уходе заметок.

5. насколько похожи их физические среды?

Вероятность того, что две идентичные среды реального времени, за пределами одновременного взаимодействия, являются немасштабируемыми, если эти среды не были созданы как идентичные. Скорее всего, у вас есть похожие среды. Например, Конференц-зале похожи — они, как правило, имеют централизованно расположенную таблицу, окружающую стулья. Живущие комнаты, с другой стороны, не похожи на * * и могут включать любое количество единиц мебели в бесконечном массиве макетов.

Holograph on table

Рассмотрите возможность совместного использования одной из следующих двух категорий:

  • Аналогично: среды, которые обычно имеют подобную мебель, свет и звук окружающей среды, размер физического помещения. Например: профессор находится в кабинете лекций A, а студенты находятся в кабинете лекции, а в кабинете лекции у A может быть меньше стульев, чем б, но у них может быть физическое место для размещения голограмм.
  • Отличия: среды, которые отличаются в параметрах мебели, размерах комнаты, светлых и звуковых вопросах. Например, профессор находится в фокусе, но студенты находятся в крупном зале лекции, который заполнен студентами и преподавателями.

Важно подумать о среде, так как она будет влиять на:

  • Как люди будут испытывать эти объекты. Например: Если ваш интерфейс лучше подходит для таблицы и у пользователя нет таблицы? Или на поверхности плоского этажа, но у пользователя есть свободное место.
  • Масштаб объектов. Например: помещение в таблицу шести метров может оказаться сложной задачей, но модель сердца будет работать великолепно.

6. какие устройства они используют?

На сегодняшний день, скорее всего, вы будете видеть общие интерфейсы между двумя современными устройствами (эти устройства могут немного отличаться для кнопок и относительной возможности, но не очень сильно) или двух holographic устройств с учетом решений, нацеленных на эти устройства. Но следует учитывать, что при наличии 2D-устройств (участников, участвующих в мобильных и настольных компьютерах или наблюдателях) будет необходимо учитывать, особенно в случае смешанных двумерных и трехмерных устройств. Понимание типов устройств, которые будут использоваться участниками, важно, но не только потому, что они имеют различные ограничения точности и данных и возможности, но так как у пользователей есть уникальные ожидания для каждой платформы.

Изучение потенциальных возможностей совместного использования

Ответы на указанные выше вопросы можно объединить, чтобы лучше понять общий сценарий, кристаллизинг проблемы по мере расширения возможностей. Для группы в корпорации Майкрософт это позволило установить план для улучшения работы, который мы используем сегодня, чтобы понять особенности этих сложных проблем и воспользоваться преимуществами общих возможностей в смешанной реальности.

например, рассмотрим один из сценариев Skype из HoloLens запуска. пользователь поработал, как исправить поврежденный коммутатор с помощью удаленного эксперта.

Fixing a light switch with assistance via Skype for HoloLens

Эксперт предоставляет 1:1 руководств от своего 2D-и настольного компьютера к пользователю трехмерного устройства смешанной реальности . Руководство является синхронным , а физические среды — непохожими.

Подобный опыт — это изменение текущего интерфейса — применение парадигмы видео и голоса к новому носителю. Но, как мы рассмотрим будущее, мы должны лучше определить возможности наших сценариев и возможности построения, отражающие надежность смешанной реальности.

Рассмотрим средство совместной работы, разработанное в лаборатории по Jet JPL. Ученые, работающие с данными из roverного режима MARS, могут совместно работать с коллегами в режиме реального времени в данных из Мартианной альбомной ориентации.

Collaborating between colleagues separated remotely to plan work for the Mars Rover

Анализу изучает среду с помощью трехмерного устройства смешанной реальности с небольшой группой удаленных коллег, использующих трехмерные и 2D- устройства. Совместная работаСинхронная (но ее можно повторно посетить асинхронно), и физические среды похожи.

Такие возможности, как onsight, представляют новые возможности для совместной работы. От физического позиционирования элементов в виртуальной среде до коллеги и совместного использования их перспективы, так как они объясняют их результаты. Функция onsight использует объектив и присутствие для повторного анализа совместного использования в смешанной реальности.

Интуитивная совместная работа — это основой беседа, совместная работа и понимание того, как мы можем применить этот интуиция к сложности смешанной реальности. Если мы можем не только повторно создать возможности совместного использования в смешанной реальности, но доставлять их, это будет сдвиг парадигмы для будущего работы. Разработка для совместного использования в смешанной реальности — это новое и привлекательное пространство — и мы только начали.

Приступая к созданию общих интерфейсов

В зависимости от приложения и сценария, для достижения желаемого опыта потребуется выполнить различные требования. Ниже перечислены некоторые из них.

  • Обеспечение соответствия: возможность создавать сеансы, объявлять сеансы, находить и приглашать конкретных пользователей как локально, так и удаленно, чтобы присоединиться к сеансу.
  • Совместное использование привязки: возможность выравнивания координат по нескольким устройствам в общем локальном пространстве, поэтому голограммы отображаются в одном месте для всех пользователей.
  • Сети: возможность иметь позиции, взаимодействия и движения людей и голограмм, синхронизированных в реальном времени для всех участников.
  • Хранилище состояний: возможность хранения характеристик и расположений голограммы в пространстве для подключения к середине сеанса, их последующего отзыва и надежности в случае проблем с сетью.

Ключ к совместно используемым интерфейсам состоит в том, что несколько пользователей видят одни и те же голограммы в мире на своем устройстве, что часто достигается путем совместного использования привязок для выравнивания координат между устройствами.

Для совместного использования привязок используйте Пространственные привязки Azure.

Благодаря общей пространственной привязке приложение на каждом устройстве теперь имеет общую систему координат , в которой они могут разместить содержимое. Теперь приложение может обеспечить размещение и ориентацию голограммы в одном месте.

на HoloLens устройствах можно также совместно использовать привязки от одного устройства к другому. Используйте приведенные ниже ссылки, чтобы решить, что лучше подходит для вашего приложения.

Оценка технических параметров

Существуют различные услуги и технологии, позволяющие создавать многопользовательские возможности смешанной реальности. Выбор пути может оказаться непростой задачей, поэтому в этом случае некоторые параметры подробно описаны ниже.

Общие статические голограммы (без взаимодействия)

Использование пространственных привязок Azure в приложении. Включение и совместное использование пространственных привязок на устройствах позволяет создать приложение, в котором пользователи видят голограммы в одном и том же месте. Дополнительная синхронизация между устройствами необходима, чтобы пользователи могли взаимодействовать с голограммами и просматривать перемещения или обновления состояния голограмм.

Поделиться с точки зрения первого пользователя

используйте встроенную поддержку Miracast для локальных пользователей, если у вас есть поддерживаемый получатель Miracast, например компьютер или телевизор, дополнительный код приложения не требуется.

используйте микседреалити-WebRTC в приложении, для удаленных пользователей или при наличии устройств, не являющихся Miracast, к которым вы хотите предоставить общий доступ. Включение подключения WebRTC позволяет использовать 1:1 потоков аудио/видео между пользователями, а также каналом данных для обмена сообщениями между устройствами. реализация смешанной реальности оптимизируется для HoloLens, предоставляя поток видео с функцией смешанной реальности для представления HoloLens пользователя другим пользователям. Если вы хотите масштабировать потоковую передачу видео на несколько удаленных клиентов, обычно используется поставщик услуг микроконтроллерами (блок конференций MultiPoint), например сигналвире. Развертывание Сигналвире в Azure одним щелчком доступно через фрисвитч.

Примечание

Обратите внимание, что Сигналвире является платной службой и не владеет корпорацией Майкрософт и не связана с ней.

Presenter-Spectator приложения и демонстрации

Используйте микседреалити-спектаторвиев для переноса функциональных возможностей просмотра spectator в приложение. включите другие устройства (HL, Android, iOS и видеокамеры), чтобы увидеть, что HoloLens видит с разных перспектив в одном расположении, и получите обновления для взаимодействия узла HoloLens пользователя, взаимодействующего с голограммами. Просматривайте, просматривайте фотографии и записывайте видео о том, что делает узел с голограммами в приложении, от собственной пространственной точки с помощью spectatorного помощника того же приложения.

Примечание. Изображения берутся через снимок экрана на устройствах iOS/Android.

Совместная работа нескольких пользователей

Начните с учебника по работе с несколькими пользователями, который использует Пространственные привязки Azure для локальных пользователей и пакет SDK Photon для синхронизации содержимого и состояния в сцене. Создавайте локальные приложения для совместной работы, в которых каждый пользователь имеет собственную перспективу на голограммах в сцене и может полностью взаимодействовать с голограммами. Обновления предоставляются на всех устройствах, а управление конфликтами взаимодействий обрабатывается Photon.

Примечание

Обратите внимание, что Photon является продуктом сторонних производителей, поэтому для продуктизе и масштабирования может потребоваться отношение выставления счетов с Photon для более высокого уровня использования.

Предстоящая работа

Возможности и интерфейсы компонентов помогают обеспечить общую согласованность и надежную поддержку в различных сценариях и базовых технологиях. До этого варианта выберите лучший путь, который соответствует сценарию, который вы пытаетесь достичь в приложении.

Другой сценарий или желание использовать другую службу технической/службы? оставьте отзыв как GitHub проблемы в соответствующем репозитории, в нижней части этой страницы или обратитесь к холодевелоперс временной резерв.

См. также статью