Проектирование Смешанная реальность

  • Статья

Создайте приложение, чтобы выглядеть хорошо в Смешанная реальность, и воспользоваться новыми методами ввода.

Обзор

Смешанная реальность является результатом смешивания физического мира с цифровым миром. Спектр возможностей смешанной реальности включает в себя на одном из экстремальных устройств, таких как HoloLens (устройство, которое смешивает содержимое, созданное компьютером, с реальным миром), и в другом полностью иммерсивное представление виртуальной реальности (как показано в гарнитуре Windows Смешанная реальность). Ознакомьтесь с типами приложений смешанной реальности, например о том, как будут отличаться возможности.

Почти все существующие приложения UWP будут работать в среде Смешанная реальность как 2D-приложения без изменений, хотя взаимодействие с пользователем можно улучшить, следуя некоторым рекомендациям в этом разделе.

Mixed Reality view

Гарнитуры HoloLens и Windows Смешанная реальность поддерживают приложения, работающие на платформе UWP, и поддерживают два различных типа взаимодействия.

2D и иммерсивный интерфейс

Иммерсивное приложение берет на себя весь дисплей, видимый пользователю, помещая ее в центр представления, созданного приложением. Например, иммерсивная игра может разместить пользователя на поверхности чужой планеты, или приложение гида может поместить пользователя в южную американскую деревню. Для создания иммерсивного приложения требуется трехмерная графика или записанное стереографическое видео. Иммерсивные приложения часто разрабатываются с помощью 3-го стороннего игрового механизма, например Unity, или с DirectX.

Если вы создаете иммерсивные приложения, обратитесь к Смешанная реальность Центр разработки Windows для получения дополнительных сведений.

2D-приложение выполняется как традиционное плоское окно в представлении пользователя. На HoloLens это означает, что представление закреплено на стене или точке в пространстве в пользователях собственной реальной гостиной или офисе. В гарнитуре Windows Смешанная реальность приложение закреплено на стене дома смешанной реальности (иногда называется Cliff House).

Multiple apps running in Mixed Reality

Эти 2D-приложения не принимают весь вид: они помещаются в него. Одновременно в среде может существовать несколько 2D-приложений.

Остальная часть этого раздела описывает рекомендации по проектированию для 2D-интерфейса.

Запуск 2D-приложений

Mixed Reality Start Menu

Все приложения запускаются из меню "Пуск", но также можно создать трехмерный объект для запуска приложений. Дополнительные сведения см. в видео о создании трехмерных приложений для Windows Смешанная реальность.

Обзор входных данных приложения 2D

Клавиатуры и мыши поддерживаются на платформах HoloLens и Смешанная реальность. Вы можете связать клавиатуру и мышь непосредственно с HoloLens через Bluetooth. Смешанная реальность приложения поддерживают мышь и клавиатуру, подключенные к хост-компьютеру. Оба могут оказаться полезными в ситуациях, когда требуется точное управление.

Другие, более естественные методы ввода также поддерживаются, и они могут быть особенно полезными, когда пользователь не сидит на столе с реальной клавиатурой перед ними или когда требуется точное управление.

Без дополнительного оборудования или кода приложения будут использовать взгляд - вектор, который ищет пользователь , в качестве указателя мыши при работе с 2D-приложениями. Она реализована, как если бы указатель мыши навел указатель мыши на что-то в виртуальной сцене.

В типичном взаимодействии пользователь будет смотреть на элемент управления в приложении, вызывая его выделение. Пользователь будет запускать действие с помощью жеста (в HoloLens), контроллера или голосовой команды. Если пользователь выбирает поле ввода текста, появится программная клавиатура.

The pop-up keyboard in Mixed Reality

Важно отметить, что все эти взаимодействия будут происходить автоматически без дополнительного кода в вашей части, как следствие выполнения на платформе UWP. Входные данные из HoloLens и гарнитуры Смешанная реальность будут отображаться в виде сенсорного ввода в приложение 2D. Это означает, что многие приложения UWP будут работать и использоваться в Смешанная реальность по умолчанию.

Это сказало, с некоторыми дополнительными работами, опыт может быть улучшен значительно. Например, голосовое управление может быть особенно эффективным. Как HoloLens, так и Смешанная реальность среды поддерживают голосовые команды для запуска и взаимодействия с приложениями, а поддержка голосовой связи будет отображаться как естественное расширение этого подхода. Дополнительные сведения о добавлении голосовой поддержки в приложение UWP см. в разделе "Взаимодействие с речью".

Выбор правого контроллера

Mixed Reality Motion Controllers

Несколько новых методов ввода были разработаны специально для использования с Смешанная реальность, в частности:

  • Жесты рук (только HoloLens, но используются только для запуска 2D-приложений)
  • Поддержка геймпадов (обе среды)
  • Устройство clicker (только HoloLens)
  • Контроллеры движения (только Смешанная реальность устройства, показанные выше.)

Эти контроллеры делают взаимодействие с виртуальными объектами кажутся естественными и точными. Некоторые из взаимодействий, которые вы получаете бесплатно. Например, жест выбора HoloLens или нажатие клавиши Windows контроллера движения или триггера создаст ожидаемый входной ответ, опять же без написания кода.

В других случаях вы захотите добавить код, чтобы воспользоваться дополнительными сведениями и входными данными, доступными. Например, контроллеры движения можно использовать для управления объектами с тонким уровнем управления, если вы пишете код, который принимает их положение и нажимает кнопку в учетную запись.

Примечание.

В сводке: главный субъект должен всегда предоставлять пользователю максимально естественный и беспокойный метод ввода.

Рекомендации по проектированию приложений 2D: функциональные возможности

При создании приложения UWP, которое потенциально будет использоваться на платформе Смешанная реальность, следует учитывать несколько аспектов.

  • Перетаскивание может не работать хорошо при использовании с контроллерами движения, геймпадами или жестами. Если приложение сильно зависит от перетаскивания, вам потребуется предоставить альтернативный метод поддержки этого действия, например представить диалоговое окно с подтверждением перемещения объектов в новое расположение.

  • Помните, как изменяется звук. Если ваше приложение создает звуковые эффекты, источник звука, как представляется, будет закрепленным расположением вашего приложения в виртуальном мире. По мере того как пользователь отойдет от приложения, звук будет уменьшаться. Дополнительные сведения см. в разделе "Пространственный звук ".

  • Рассмотрим поле представления и предоставьте возможности. Не каждое устройство будет предоставлять как большое поле представления в виде монитора компьютера. Полные сведения см . в голографическом кадре . Кроме того, пользователь может находиться в некотором расстоянии от работающего приложения. То есть приложение может быть закреплено на стене в другом расположении в мире (реальном или виртуальном). Приложению может потребоваться привлечь внимание пользователей или учесть, что все представление не отображается в любое время. Всплывающие уведомления доступны, но другим способом получения внимания пользователя может быть создание звукового или речевых оповещений.

  • 2D-приложение автоматически получает панель приложения, чтобы разрешить пользователю перемещать и масштабировать их в виртуальной среде. Представления можно изменить по вертикали или изменить размер, поддерживая одно и то же соотношение пропорций.

Рекомендации по проектированию 2D-приложений: ПОЛЬЗОВАТЕЛЬСКИЙ интерфейс или UX

  • Элементы управления XAML, реализующие система Fluent Design, такие как представление навигации, и эффекты, такие как Акрил, работают особенно хорошо в приложениях 2D Смешанная реальность.

  • Проверьте размер текста и окон приложения на устройстве Смешанная реальность или по крайней мере в симуляторе Смешанная реальность. Приложение будет иметь размер окон по умолчанию в 853x480 эффективных пикселей. Используйте более крупные размеры шрифтов (рекомендуется размер точки примерно 32) и чтение приложений UWP для Windows Смешанная реальность обновления 2D. В этой статье подробно рассматривается типография. При работе в Visual Studio имеется параметр редактора конструктора XAML для 57 "Приложение HoloLens 2D, которое предоставляет представление с правильным масштабом и измерениями.

Text displayed in Mixed Reality apps should be large.

  • Ваш взгляд является вашей мышью. Когда пользователь смотрит на что-то, он действует как событие наведения касания , поэтому просто глядя на объект может активировать непреднамеренное всплывающее окно или другое нежелательное взаимодействие. Возможно, потребуется определить, работает ли приложение в Смешанная реальность и измените это поведение. См. сведения о поддержке среды выполнения ниже.

  • Когда пользователь смотрит на что-то или указывает с контроллером движения, происходит событие наведения сенсорного указателя . Это состоит из PointerPoint, где PointerType имеет значение Touch, но IsInContact имеет значение false. При возникновении какой-либо фиксации (например, нажатие кнопки "Геймпад А", нажатие нажатого устройства нажатия, нажатие контроллера движения или нажатие клавиши распознавания голоса "Выбрать"), при нажатии клавиши PointerPointс IsInContact становится верной. Дополнительные сведения об этих событиях ввода см. в разделе "Сенсорные взаимодействия".

  • Помните, взгляд не так точно, как указатель мыши. Небольшие целевые объекты мыши или кнопки могут привести к разочарованию пользователей, поэтому измените размер элементов управления соответствующим образом. Если они предназначены для сенсорного ввода, они будут работать в Смешанная реальность, но вы можете решить увеличить некоторые кнопки во время выполнения. Дополнительные сведения см. в статье об обновлении приложений UWP для Windows Смешанная реальность.

  • HoloLens определяет цвет черный как отсутствие света. Это просто не отрисовывается, позволяя "реальный мир" так показать через. Приложение не должно использовать черное, если это приведет к путанице. В гарнитуре Смешанная реальность черный цвет.

  • HoloLens не поддерживает цветовые темы в приложениях, а по умолчанию — синий, чтобы обеспечить лучший интерфейс для пользователей. Дополнительные советы по выбору цветов следует ознакомиться с этим разделом, в котором рассматривается использование цвета и материала в Смешанная реальность дизайне.

Прочие моменты, которые следует принять во внимание

  • Хотя мост для классических приложений может помочь перенести существующие классические приложения (Win32) в Windows и Microsoft Store, он не может создавать приложения, которые работают в HoloLens в настоящее время. Начиная с Windows 10 версии 1903 приложения Win32 Desktop могут работать на Смешанная реальность гарнитурах.

Поддержка времени выполнения

Приложение может определить, работает ли оно на устройстве Смешанная реальность во время выполнения и использовать это в качестве возможности изменять размер элементов управления или другими способами оптимизировать приложение для использования на гарнитуре.

Ниже приведен краткий фрагмент кода, который изменяет размер текста внутри элемента управления XAML TextBlock, только если приложение используется на устройстве Смешанная реальность.


bool isViewingInMR = Windows.ApplicationModel.Preview.Holographic.HolographicApplicationPreview.IsCurrentViewPresentedOnHolographicDisplay();

            if (isViewingInMR)
            {
                // Running on headset, resize the XAML text
                textBlock.Text = "I'm running in Mixed Reality!";
                textBlock.FontSize = 32;
            }
            else
            {
                // Running on desktop
                textBlock.Text = "I'm running on the desktop.";
                textBlock.FontSize = 14;
            }