Общий доступ в смешанной реальности
Голограммы не должны оставаться частными только для одного пользователя. Голографические приложения могут совместно использовать пространственные привязки с одного устройства HoloLens, iOS или Android на другом устройстве, что позволяет пользователям отображать голограмму в одном месте в реальном мире на нескольких устройствах.
Шесть вопросов для определения общих сценариев
Прежде чем приступить к разработке общих возможностей, важно определить целевые сценарии. Эти сценарии помогают прояснить, что вы разрабатываете, и создать общий словарь для сравнения и контрастности функций, необходимых для вашего взаимодействия. Понимание основной проблемы и различных путей ее решения является ключом к выявлению возможностей, присущих этой новой среде.
Благодаря внутренним прототипам и исследованиям наших партнерских агентств HoloLens мы создали шесть вопросов, которые помогут вам определить общие сценарии. Эти вопросы формируют структуру, не предназначенную для того, чтобы быть исчерпывающей, чтобы помочь определить важные атрибуты ваших сценариев.
1. Как они делятся?
Презентацию может вести один виртуальный пользователь, в то время как несколько пользователей могут совместно работать, или преподаватель может предоставлять рекомендации виртуальным учащимся, работающим с виртуальными материалами. Сложность взаимодействия увеличивается в зависимости от уровня агентства, который пользователь имеет или может иметь в сценарии.
Существует множество способов предоставления общего доступа, но мы обнаружили, что большинство из них делятся на три категории:
- Презентация: когда одно и то же содержимое отображается нескольким пользователям. Например: профессор раздает лекцию нескольким студентам, используя один и тот же голографический материал, который представляется всем. Профессор, однако, может иметь свои собственные подсказки и заметки, которые не могут быть видны другим.
- Совместная работа: когда люди работают вместе для достижения некоторых общих целей. Например: Профессор выдал проект, чтобы узнать о выполнении операции на сердце. Учащиеся объединяются и создают общий опыт лаборатории навыков, который позволяет учащимся-медикам совместно работать над моделью сердца и учиться.
- Руководство. Когда один человек помогает кому-то решить проблему в более одном стиле взаимодействия. Например, профессор дает рекомендации студенту, когда он или она выполняет лабораторию навыков хирургии сердца в общем опыте.
2. Каков размер группы?
Возможности совместного использования "один к одному " могут обеспечить надежные базовые показатели, и в идеале на этом уровне можно создать подтверждение концепции. Но имейте в виду, что совместное использование с большими группами (более шести человек) может привести к трудностям как технических (данные и сети), так и социальных (влияние бытия в комнате с несколькими аватарами). Сложность увеличивается экспоненциально по мере перехода от небольших групп к большим.
Мы обнаружили, что потребности групп можно разделить на три категории размера:
- 1:1
- Малый < 7
- Большой >= 7
Размер группы является важным вопросом, так как он влияет на:
- Представления людей в голографическом пространстве
- Масштаб объектов
- Масштаб среды
3. Где все?
Сила смешанной реальности вступает в игру, когда общий опыт может происходить в одном и том же месте. Мы называем это совместное размещение. И наоборот, когда группа распределена и по крайней мере один участник находится в разных физических пространствах (как это часто бывает в виртуальной реальности), мы называем это удаленным взаимодействием. Часто в вашей группе есть как совместное размещение, так и удаленные участники (например, две группы в конференц-залах).
Следующие категории помогают сообщить, где находятся пользователи:
- Совместное размещение. Все пользователи будут находиться в одном физическом пространстве.
- Удаленный доступ. Все пользователи будут находиться в отдельных физических пространствах.
- Оба: ваши пользователи будут сочетанием совместно размещаемых и удаленных пространств.
Этот вопрос имеет решающее значение, так как он влияет на:
- Как люди общаются?
- Например: должны ли они иметь аватары?
- Какие объекты они видят. Являются ли все объекты общими?
- Нужно ли адаптироваться к их среде?
4. Когда они предоставляют общий доступ?
Как правило, мы думаем о синхронных взаимодействиях, когда общий опыт приходит на ум: мы все делаем это вместе. Но если мы добавим один виртуальный элемент, который был добавлен кем-то другим, у нас будет асинхронный сценарий. Представьте себе заметку или голосовую записку, оставленную в виртуальной среде. Как вы обрабатываете 100 виртуальных памяток, оставшихся в вашем проекте? Что делать, если они из десятков людей с разными уровнями конфиденциальности?
Рассмотрим ваши впечатления как одну из следующих категорий времени:
- Синхронно: совместное использование голографического интерфейса одновременно. Например: два учащегося одновременно выполняют лабораторию навыков.
- Асинхронно: совместное использование голографического интерфейса в разное время. Например: два учащегося выполняют лабораторию навыков, но работают над отдельными разделами в разное время.
- Оба: пользователи иногда будут предоставлять общий доступ синхронно, но в других случаях — асинхронно. Например, профессор оценивает задание, выполненное учащимися позже, и оставляет заметки для учащихся на следующий день.
Этот вопрос важен, так как он влияет на:
- Сохраняемость объектов и среды. Например: хранение состояний, чтобы их можно было получить.
- Перспектива пользователя. Например: возможно, запоминание того, что пользователь смотрел при выходе заметок.
5. Насколько похожи их физические среды?
Вероятность двух идентичных реальных сред за пределами совместного взаимодействия невелика, если только эти среды не были разработаны таким образом, чтобы быть идентичными. Скорее всего, у вас будут похожие среды. Например, конференц-залы похожи: обычно они имеют центрально расположенный стол, окруженный стульями. Гостиные, с другой стороны, отличаются друг от друга и могут включать любое количество предметов мебели в бесконечном массиве макетов.
Рассмотрим, что ваш интерфейс обмена подходит для одной из следующих двух категорий:
- Аналогичные: среды, которые, как правило, имеют аналогичную мебель, внешний свет и звук, физический размер комнаты. Например, профессор находится в лекционном зале A, а студенты находятся в лекционном зале Б. Лекционный зал A может иметь меньше стульев, чем В, но оба они могут иметь физический стол для размещения голограмм.
- Разные: среды, которые отличаются по параметрам мебели, размерам помещений, освещению и звуку. Например: профессор находится в фокус-комнате, а студенты находятся в большом лекционном зале, заполненном студентами и преподавателями.
Важно думать о среде, так как она будет влиять на:
- Как люди будут сталкиваться с этими объектами. Например, если ваш интерфейс лучше всего работает с таблицей, а у пользователя нет таблицы? Или на плоской поверхности пола, но у пользователя есть загромождающее пространство.
- Масштаб объектов. Например, размещение шести футов человеческой модели на столе может быть сложной задачей, но модель сердца будет работать отлично.
6. Какие устройства они используют?
Сегодня вы часто увидите общие возможности между двумя иммерсивными устройствами (эти устройства могут немного отличаться для кнопок и относительных возможностей, но не очень) или двумя голографическими устройствами , учитывая решения, предназначенные для этих устройств. Но подумайте, будут ли 2D-устройства (участник мобильного или настольного компьютера или наблюдатель), особенно в ситуациях со смешанными двух- и трехмерными устройствами. Понимание типов устройств, которые будут использовать участники, важно не только потому, что они имеют разную точность, ограничения данных и возможности, но и потому, что пользователи имеют уникальные ожидания для каждой платформы.
Изучение потенциала общих возможностей
Ответы на приведенные выше вопросы можно объединить, чтобы лучше понять общий сценарий, кристаллизуя проблемы по мере расширения возможностей. Для команды майкрософт это помогло разработать дорожную карту для улучшения возможностей, которые мы используем сегодня, понимания нюансов этих сложных проблем и того, как воспользоваться преимуществами общего опыта в смешанной реальности.
Например, рассмотрим один из сценариев Skype из запуска HoloLens: пользователь проработал , как исправить сломанный выключатель с помощью удаленно расположенного эксперта.
Эксперт предоставляет 1:1 рекомендации от своего двухd, настольного компьютера пользователю трехмерного устройства смешанной реальности . Руководство является синхронным, а физические среды отличаются друг от друга.
Такой опыт является шагом в изменении нашего текущего опыта — применение парадигмы видео и голоса к новому средству. Но, глядя в будущее, мы должны лучше определять возможности наших сценариев и создавать опыт, который отражает силу смешанной реальности.
Рассмотрим инструмент для совместной работы OnSight, разработанный Лабораторией реактивного движения НАСА. Ученые, работающие над данными из миссий марсохода, могут сотрудничать с коллегами в режиме реального времени в рамках данных из марсианского ландшафта.
Ученый исследует среду с помощью трехмерного устройства смешанной реальности с небольшой группой удаленных коллег, использующих трехмерные и 2D-устройства . Совместная работа выполняется синхронно (но ее можно пересматривать асинхронно), а физические среды (практически) похожи.
Такие возможности, как OnSight, открывают новые возможности для совместной работы. От физического указания элементов в виртуальной среде до стоять рядом с коллегой и делиться своим мнением, объясняя свои выводы. OnSight использует призму погружения и присутствия, чтобы переосмыслить обмен опытом в смешанной реальности.
Интуитивная совместная работа — основа диалога, работа вместе и понимание того, как мы можем применить эту интуицию к сложности смешанной реальности, имеет решающее значение. Если мы сможем не только воссоздать опыт обмена в смешанной реальности, но и добавить их, это будет сдвиг парадигмы для будущего работы. Проектирование общих возможностей в смешанной реальности — это новое и захватывающее пространство, и мы только в начале.
Приступая к созданию общих возможностей
В зависимости от вашего приложения и сценария для достижения желаемого опыта будут применяться различные требования. Ниже перечислены некоторые из них.
- Создание совпадений: возможность создавать сеансы, объявлять сеансы, обнаруживать и приглашать определенных пользователей как локально, так и удаленно, чтобы присоединиться к сеансу.
- Совместное использование привязок. Возможность выравнивать координаты на нескольких устройствах в общем локальном пространстве, чтобы голограммы отображались в одном месте для всех пользователей.
- Сеть. Возможность синхронизации позиций, взаимодействий и перемещений людей и голограмм в режиме реального времени для всех участников.
- Хранилище состояний. Возможность хранения характеристик голограмм и расположений в пространстве для присоединения к сеансу в середине сеанса, последующего отзыва и надежности в случае проблем с сетью.
Ключ к общим интерфейсам заключается в том, чтобы несколько пользователей видели одни и те же голограммы в мире на своем устройстве. Часто это делается путем совместного использования привязок для выравнивания координат на разных устройствах.
Чтобы предоставить общий доступ к привязкам, используйте пространственные привязки Azure:
- Сначала пользователь помещает голограмму.
- Приложение создает пространственную привязку, чтобы закрепить голограмму точно в мире.
- Привязки можно совместно использовать для устройств HoloLens, iOS и Android с помощью пространственных привязок Azure.
Благодаря общей пространственной привязке приложение на каждом устройстве теперь имеет общую систему координат , в которой можно размещать содержимое. Теперь приложение может разместить голограмму и сориентировать ее в том же расположении.
На устройствах HoloLens можно также совместно использовать привязки в автономном режиме с одного устройства на другое. Используйте приведенные ниже ссылки, чтобы решить, что лучше всего подходит для вашего приложения.
Оценка технических параметров
Существуют различные варианты служб и технологий, которые помогают создавать многопользовательские возможности смешанной реальности. Выбрать путь может быть сложно, поэтому, учитывая перспективу, ориентированную на сценарий, некоторые варианты описаны ниже.
Общие статические голограммы (без взаимодействий)
Используйте Пространственные привязки Azure в приложении. Включение и совместное использование пространственных привязок на разных устройствах позволяет создать приложение, в котором пользователи одновременно видят голограммы в одном месте. Необходима дополнительная синхронизация между устройствами, чтобы пользователи могли взаимодействовать с голограммами и видеть движения или обновления состояния голограмм.
Общий доступ к точке зрения от первого лица
Используйте встроенную поддержку Miracast для локальных пользователей при наличии поддерживаемого приемника Miracast, например пк или телевизора. Дополнительный код приложения не требуется.
Взаимодействие с несколькими пользователями
Начните с нашего руководства по многопользовательскому обучению, в котором используются Пространственные привязки Azure для локальных пользователей и пакет SDK Photon для синхронизации содержимого и состояния в сцене. Создание локальных приложений для совместной работы, в которых каждый пользователь имеет свой собственный взгляд на голограммы в сцене и может полностью взаимодействовать с голограммами. Обновления предоставляются на всех устройствах, а управление конфликтами взаимодействия обрабатывает photon.
Примечание
Обратите внимание, что Photon является продуктом сторонних разработчиков, поэтому для более высокого уровня использования может потребоваться выставление счетов с Photon.
Предстоящая работа
Возможности и интерфейсы компонентов помогут обеспечить общую согласованность и надежную поддержку в различных сценариях и базовых технологиях. До тех пор выберите оптимальный путь, соответствующий сценарию, который вы пытаетесь достичь в приложении.
Другой сценарий или желание использовать другую технологию или службу? Оставьте отзыв о проблемах GitHub в соответствующем репозитории в нижней части этой страницы или обратитесь к holoDevelopers slack.