Голографический кадр
Пользователи видят мир смешанной реальности через прямоугольный экран гарнитуры. В HoloLens эта прямоугольная область называется голографическим экраном и позволяет пользователям видеть цифровое содержимое, наложенное на окружающий их мир. Проектирование интерфейсов, оптимизированных для голографического кадра, создает возможности, устраняет проблемы и улучшает взаимодействие с приложениями смешанной реальности.
Проектирование для содержимого
Часто разработчики чувствуют необходимость ограничить область взаимодействия с тем, что пользователь может видеть сразу, жертвуя реальным масштабом, чтобы гарантировать, что пользователь видит объект в полном объеме. Аналогичным образом, разработчики со сложными приложениями часто перегружают голографические кадры содержимым, перегружая пользователей сложными взаимодействиями и загромождая интерфейсы. Разработчикам, создающим содержимое смешанной реальности, не нужно ограничивать взаимодействие непосредственно перед пользователем и в непосредственном представлении. Если физический мир вокруг пользователя сопоставлен, то все эти поверхности следует рассматривать как потенциальный холст для цифрового содержимого и взаимодействий. Правильное проектирование взаимодействий и содержимого в интерфейсе должно стимулировать пользователя к перемещению по пространству, направляя внимание на ключевое содержимое и помогая увидеть весь потенциал смешанной реальности.
Возможно, самый важный метод поощрения движения и исследования в приложении — это позволить пользователям адаптироваться к интерфейсу. Предоставьте пользователям короткий период "беззадажного" времени на устройстве. Это может быть так же просто, как разместить объект в пространстве и позволить пользователям перемещаться по нему или рассказывать введение в интерфейс. На этот раз не должно быть критически важных задач или определенных жестов, таких как касание воздуха. Цель состоит в том, чтобы пользователи могли просматривать содержимое на устройстве, прежде чем требовать интерактивности или прогресса в приложении. Это особенно важно для пользователей впервые, так как им удобно просматривать содержимое через голографический кадр и природу голограмм.
Большие объекты
Часто содержимое, которое требуется в интерфейсе, особенно реальное содержимое, будет больше голографического кадра. Объекты, которые обычно не могут помещаться в голографический кадр, должны быть сжаты в соответствии с первым вводом (в меньшем масштабе или на расстоянии). Ключ заключается в том, чтобы пользователи видели полный размер объекта до того, как масштаб переполняет кадр. Например, голографический слон должен отображаться для полного размещения в кадре. Это позволяет пользователям сформировать пространственное представление об общей форме животного, прежде чем определять его размер в реальном масштабе рядом с пользователем.
Учитывая полный размер объекта, пользователи ожидают, где следует перемещаться и искать определенные части этого объекта. При использовании иммерсивного содержимого он помогает получить возможность вернуться к полному размеру этого содержимого. Например, если опыт включает в себя прогулку по модели виртуального дома, это помогает иметь уменьшенную версию кукольного дома, чтобы определить, где они находятся внутри дома.
Пример проектирования для крупных объектов см. в разделе Volvo Cars.
Множество объектов
При работе со многими объектами или компонентами следует рассмотреть возможность использования полного пространства вокруг пользователя, чтобы избежать загромождения голографического кадра непосредственно перед пользователем. Рекомендуется замедлить ввод содержимого в интерфейс, особенно в интерфейсах, которые планируют обслуживать много объектов для пользователя. Ключ заключается в том, чтобы пользователи понимали макет содержимого в интерфейсе, что помогает им получить пространственное представление о том, что вокруг них при обновлении содержимого.
Один из способов достижения этого заключается в предоставлении постоянных точек (также известных как ориентиры) в интерфейсе, который привязывает содержимое к реальному миру. Например, ориентиром может быть физический объект в реальном мире, например таблица, в которой отображается цифровое содержимое, или цифровой объект, например набор цифровых экранов, на которых часто появляется содержимое. Объекты также можно размещать на периферии голографического кадра, чтобы побудить пользователя обращать внимание на ключевое содержимое. Обнаружению содержимого за пределами периферии могут помочь руководители внимания.
Размещение объектов на периферии может побудить пользователей смотреть в сторону, и этому могут помочь директора внимания, как описано ниже. Дополнительные сведения о голографических кадрах см. в документации по комфорту .
Рекомендации по взаимодействию
Как и в случае с контентом, взаимодействие в смешанной реальности не должно ограничиваться тем, что пользователь может сразу увидеть. Взаимодействия могут происходить в любом месте реального пространства вокруг пользователя. Эти взаимодействия помогают побудить пользователей к перемещению и изучению возможностей.
Внимание директоров
Указание точек интереса или ключевых взаимодействий может иметь решающее значение для прогресса пользователей в процессе взаимодействия. Внимание пользователя и перемещение голографического кадра могут быть направлены тонкими или жесткими способами. Не забудьте сбалансировать внимание директоров с периодами свободного исследования в смешанной реальности (особенно в начале взаимодействия), чтобы избежать перегрузки пользователя. Как правило, существует два типа директоров внимания:
- Визуальные директора: Самый простой способ сообщить пользователю, что он должен двигаться в определенном направлении, — предоставить визуальное указание. Это можно сделать с помощью визуального эффекта (например, пути, по которому пользователь может визуально следовать к следующей части взаимодействия) или даже с помощью простых стрелок направления. Любой визуальный индикатор должен быть заземлен в среде пользователя, а не прикрепляться к голографическому кадру или курсору.
- Звуковые директора.Пространственный звук может предоставить мощный способ установки объектов в сцене. Вы можете оповещать пользователей об объектах, входящих в интерфейс, или направлять внимание на определенную точку в пространстве, перемещая представление пользователя к ключевым объектам. Использование звуковых директоров для руководства вниманием пользователя может быть более тонким и менее навязчивым, чем визуальные директора. В некоторых случаях лучше всего начать с аудиорежиссера, а затем перейти к визуальному директору, если пользователь не распознает подсказку. Кроме того, для дополнительного акцента можно связать звуковые директора с визуальными директорами.
Команды, навигация и меню
Интерфейсы в смешанной реальности в идеале тесно связаны с цифровым содержимым, которыми они управляют. Таким образом, свободно плавающие двухD-меню часто не идеально подходят для взаимодействия и могут быть сложными для пользователей, слишком комфортно с внутренней голографической рамкой. Для работы с элементами интерфейса, такими как меню или текстовые поля, рекомендуется использовать метод добавления тегов для отслеживания голографического кадра после короткой задержки. Избегайте блокировки содержимого в кадре, например на экране с головами, так как это может дезориентировать пользователя и нарушить чувство погружения для других цифровых объектов в сцене.
Вы также можете размещать элементы интерфейса непосредственно на определенном содержимом, которое они контролируют, что позволяет естественным образом взаимодействовать с физическим пространством пользователя. Например, разбейте сложное меню на отдельные части с каждой кнопкой или группой элементов управления, присоединенными к конкретному объекту, на который влияет взаимодействие. Чтобы еще больше рассмотреть эту концепцию, рассмотрите возможность использования взаимодействуемых объектов.
Нацеливание взгляда и взгляда
Голографический кадр предоставляет разработчику инструмент для активации взаимодействия и оценки того, где находится внимание пользователя. Взгляд является одним из ключевых взаимодействий в HoloLens, где взгляд может быть сопряжен с жестами (например, с касанием воздуха) или голосом (что позволяет более короткие и естественные голосовые взаимодействия). Таким образом, это делает голографический кадр пространством для наблюдения за цифровым содержимым и взаимодействия с ним. Если интерфейс требует взаимодействия с несколькими объектами вокруг пространства пользователя (например, множественный выбор объектов вокруг пространства пользователя с помощью взгляда и жеста), рассмотрите возможность переноса этих объектов в представление пользователя или ограничения объема необходимого движения головы, чтобы повысить удобство пользователя.
Взгляд также можно использовать для отслеживания внимания пользователя через интерфейс и просмотра объектов или частей сцены, которым пользователь уделял наибольшее внимание. Это может быть особенно полезно для отладки взаимодействия, позволяя аналитическим средствам, таким как тепловые карты, видеть, где пользователи тратят больше всего времени или пропускают определенные объекты или взаимодействие. Отслеживание взгляда также может предоставить мощный инструмент для посредников в опыте (см. пример с кухней Lowe ).
Если вы хотите ознакомиться с основными понятиями проектирования головы и отслеживания взгляда в действии, проверка ниже из видеоролика Проектирование голограмм — отслеживание головы и отслеживание взгляда:
Это видео было записано из приложения Designing Holograms для HoloLens 2. Скачайте его и насладитесь всеми его возможностями здесь.
Производительность
Правильное использование голографического кадра имеет важное значение для обеспечения качества производительности . Распространенной технической проблемой (и удобством использования) является перегрузка кадра пользователя цифровым содержимым, что приводит к снижению производительности отрисовки. Вместо этого рассмотрите возможность использования полного пространства вокруг пользователя для размещения цифрового содержимого, используя описанные выше методы, чтобы уменьшить нагрузку на отрисовку и обеспечить оптимальное качество отображения.
Примеры
Volvo Cars
В салоне Volvo Cars клиентам предлагается узнать о возможностях нового автомобиля в интерфейсе HoloLens под руководством партнера Volvo. Volvo столкнулась с проблемой с голографической рамкой: полноразмерный автомобиль слишком большой, чтобы поставить рядом с пользователем. Решение было начать опыт с физического ориентира, центрального стола в шоу-руме, с меньшей цифровой модели автомобиля, размещенной на верхней части таблицы. Это гарантирует, что пользователь видит полный автомобиль, когда он вводится, что позволяет чувствовать пространственное понимание, как только автомобиль растет до своего реального масштаба позже в интерфейсе.
Опыт Volvo также использует визуальные директора, создавая длительный визуальный эффект от модели малогабаритного автомобиля на столе до стены в шоу-зале. Это приводит к эффекту "волшебного окна", показывая полный обзор автомобиля на расстоянии, иллюстрируя дальнейшие особенности автомобиля в реальном масштабе. Перемещение головы выполняется горизонтально, без прямого взаимодействия с пользователем (вместо этого собирает подсказки визуально и из закадрового рассказа партнера Volvo).
Кухня Лоу
Опыт магазина От Lowe приглашает клиентов в полномасштабный макет кухни, чтобы продемонстрировать различные возможности ремоделирования, как видно через HoloLens. Кухня в магазине обеспечивает физический фон для цифровых объектов, пустой холст из приборов, столешницы и шкафы для смешанной реальности, чтобы развернуться.
Физические поверхности действуют как статические ориентиры для пользователя, чтобы заземлиться в интерфейсе, как помощник Lowe направляет пользователя через различные варианты продукта и отделки. Таким образом, партнер может устно направить внимание пользователя на "холодильник" или "центр кухни", чтобы продемонстрировать цифровое содержимое.
Помощник Lowe использует планшет, чтобы помочь клиентам в работе с HoloLens.
Управление взаимодействием пользователя частично осуществляется с помощью планшета, управляемого помощником Lowe. Частью роли партнера в этом случае также было бы ограничение чрезмерного движения головы, направляя свое внимание плавно через точки интереса на кухне. Планшет также обеспечивает связь Lowe с данными взгляда в виде тепловой карты на кухне, помогая понять, где находится пользователь (например, в определенной области шкафа), чтобы более точно предоставить ему инструкции по переделке.
Более подробное представление о кухне Lowe см. в докладе Майкрософт на Ignite 2016.
Fragments
В игре HoloLens Фрагменты вы гостиная превращается в виртуальное место преступления, показывающее улики и улики, и виртуальную переговорную комнату, где вы разговариваете с персонажами, которые сидят на ваших стульях и опираются на стены.
Фрагменты были разработаны для размещения в доме пользователя, с персонажами, взаимодействующими с реальными объектами и поверхностями.
Когда пользователи изначально начинают работу, им предоставляется короткий период корректировки с минимальным взаимодействием. Вместо этого им рекомендуется оглядываться вокруг и ориентироваться и убедиться, что комната правильно сопоставлена с интерактивным контентом игры.
На протяжении всего опыта персонажи становятся фокусными точками и действуют как визуальные режиссеры (движения головы между персонажами, обращаясь к взгляду или жесту к интересующим областям). Игра также полагается на более заметные визуальные подсказки, когда пользователь слишком долго находит объект или событие и интенсивно использует пространственный звук (особенно с голосами персонажей при входе в сцену).
Назначение: Марс
В назначении: Опыт Марса, представленный в Космическом центре Кеннеди НАСА, посетители были приглашены в иммерсивное путешествие на поверхность Марса, руководствуясь виртуальным представлением легендарного астронавта Базза Олдрина.
Виртуальный Buzz Aldrin становится фокусом для пользователей в назначении: Марс.
В качестве иммерсивного взаимодействия этим пользователям было предложено оглянуться вокруг, двигая головой во всех направлениях, чтобы увидеть виртуальный марсианский ландшафт. Хотя, чтобы обеспечить комфорт пользователей, закадровый текст Buzz Aldrin и виртуальное присутствие обеспечили фокус на протяжении всего взаимодействия. Эта виртуальная запись Buzz (созданная microsoft Смешанная реальность Capture Studios) стояла в реальном, человеческом размере, в углу комнаты, позволяя пользователям видеть его в почти полном представлении. Закадровый текст Buzz направил пользователей сосредоточиться на различных точках в окружающей среде (например, набор марсианских скал на полу или горный хребет на расстоянии) с конкретными изменениями сцены или объектами, введенными им.
Виртуальные экранные дикторы будут следовать за движением пользователя, создавая мощный фокус на протяжении всего взаимодействия.
Реалистичное представление Buzz обеспечило мощный фокус, в комплекте с тонкими методами, чтобы повернуть Buzz к пользователю, чтобы чувствовать, как будто он там, разговаривая с вами. По мере того как пользователь перемещается по интерфейсу, Buzz перемещается к вам до порогового значения, прежде чем вернуться в нейтральное состояние, если пользователь перемещается слишком далеко за пределы своей периферии. Если пользователь смотрит от Buzz полностью (например, чтобы посмотреть на что-то в другом месте сцены), а затем обратно в Buzz, направление положение экранного диктора будет снова сосредоточено на пользователе. Такие методы обеспечивают мощное чувство погружения и создают фокус в голографическом кадре, уменьшая чрезмерное движение головы и повышая комфорт пользователя.