Знакомство с инстинктивным взаимодействием

Статья
03/21/2023

Манипулирование на большом расстоянии с помощью рук

Платформа Mixed Reality (MR) построена на принципах простого инстинктивного взаимодействия. Мы сделали три шага, чтобы разработчики и конструкторы приложений могли предоставлять своим клиентам простые и понятные механизмы взаимодействия.

Сначала мы убедились, что наши датчики и технологии ввода объединены в многомодальные модели взаимодействия. Такие модели взаимодействия включают отслеживание рук и взгляда, а также ввод на естественном языке. Мы ведем исследования, создаем проекты и разрабатываем решения на базе мультимодальной платформы, а не на основе индивидуальных входных данных. Такой подход — ключ к созданию возможностей инстинктивного взаимодействия.

Во-вторых, мы учитываем, что многие разработчики ориентированы на несколько устройств HoloLens, таких как HoloLens 2 и HoloLens (1-го поколения) или HoloLens и виртуальная реальность. Поэтому мы разработали модели взаимодействия для работы на разных устройствах, даже если технология ввода зависит от устройства. Например, при удаленном взаимодействии иммерсивной гарнитуры Windows с контроллером 6DoF и при удаленном взаимодействии с HoloLens 2 используются одинаковые возможности и шаблоны. Это упрощает разработку приложений на нескольких устройствах и позволяет сделать взаимодействия естественными.

Хотя мы признаем, что в смешанной реальности возможны тысячи эффективных, увлекательных и магических взаимодействий, мы обнаружили, что преднамеренное использование единой модели взаимодействия в приложении — это лучший способ обеспечить успешную и комфортную работу пользователей. Поэтому в это руководство по взаимодействию мы включили три вещи.

Специальные указания по трем основным моделям взаимодействия, а также по компонентам и шаблонам, необходимым для каждого.
Дополнительное описание других преимуществ, которые предоставляет наша платформа.
Общие инструкции по выбору подходящей модели взаимодействия для конкретного сценария разработки.

Основы отслеживания рук и инстинктивное взаимодействие — демонстрация

Ознакомьтесь с видеороликом Designing Holograms - Head Tracking and Eye Tracking (Создание голограмм — отслеживание головы и взгляда) ниже, а затем перейдите к более конкретным темам:

Это видео было записано из приложения Designing Holograms для HoloLens 2. Скачайте его и насладитесь всеми его возможностями здесь.

Модели мультимодальных взаимодействий

Основываясь на наших исследованиях и отзывах клиентов, мы определили, что для реализации большинства возможностей смешанной реальности подходят три основные модели взаимодействия. Во многих отношениях модель взаимодействия — это модель мышления пользователя для выполнения своего рабочего процесса. Каждая из этих моделей взаимодействия оптимизирована для ряда потребностей клиентов. При правильном применении каждая из них является простой, мощной и удобной в использовании.

Диаграмма ниже представляет собой упрощенный обзор. Подробная информация об использовании каждой модели взаимодействия приведена ниже на страницах с изображениями и примерами кода.

Модель	Примеры сценариев	Совпадение	Оборудование
Руки и контроллеры движения	Возможности трехмерного пространства, такие как пространственная структура и конструктор, манипулирование содержимым или симуляция.	В сочетании с системой голосовой связи, отслеживанием взгляда или направления головы отлично подходит для новых пользователей. Низкий порог вхождения. Последовательное взаимодействие с пользователем для отслеживания рук и контроллеров 6DoF.	HoloLens 2 Иммерсивные гарнитуры
Режимы без использования рук	Контекстуальные возможности, когда руки пользователя заняты, например, обучением на рабочем месте и обслуживанием.	Требуется некоторое обучение. Если руки должны быть свободны, устройство обеспечивает удобное управление с помощью голоса и естественного языка.	HoloLens 2 HoloLens (1-го поколения) Иммерсивные гарнитуры
Взгляд и фиксация	Взаимодействия по щелчку, например трехмерные презентации, демонстрации.	Требуется обучение на HMD, но не на мобильном. Лучшее для доступных контроллеров. Лучшее для HoloLens (1-го поколения)	HoloLens 2 HoloLens (1-го поколения) Иммерсивные гарнитуры Mobile AR

Чтобы избежать несоответствий в механизме взаимодействия с пользователем, на всех этапах следуйте инструкциям, касающимся одной и той же модели.

В следующих разделах рассматриваются этапы выбора и реализации одной из этих моделей взаимодействия.

Ознакомившись с инструкциями на этой странице, вы узнаете, как выполнять следующие задачи:

Выбор модели взаимодействия для вашего клиента
Реализация модели взаимодействия
Переход между моделями взаимодействия
Следующие шаги конструктора

Выберите модель взаимодействия для вашего клиента

Как правило, разработчики и проектировщики решений продумывают типы взаимодействия, ориентируясь на потребности клиента. Чтобы поощрить такой подход к проектированию, мы рекомендуем следовать приведенным ниже инструкциям по выбору модели взаимодействия, оптимизированной для вашего клиента.

Почему нужно следовать руководству?

Мы проверяем наши модели взаимодействия по объективным и субъективным критериям, таким как физические и когнитивные трудозатраты, простота восприятия и обучаемость.
Так как есть множество способов взаимодействия, визуальные и звуковые возможности, а также поведение объекта отличаются в зависимости от конкретной модели.
Объединение частей нескольких моделей взаимодействия создает риск конкурирующих возможностей, таких как одновременное срабатывание телекинеза и курсора направления головы. Это может быть сложным для восприятия пользователей.

Ниже приведены несколько примеров того, как возможности и расширения функциональности оптимизируются для каждой модели взаимодействия. Мы часто видим, что у новых пользователей возникают похожие вопросы, например: "Как я узнаю, что система работает, как мне узнать, что я могу сделать, и как узнать, поняла ли она мое действие? "

Модель	Как мне узнать, что она работает?	Как мне узнать, что я могу сделать?	Как мне узнать, что я только что сделал?
Руки и контроллеры движения	Я вижу виртуальную руку, возможность курсора для кончика пальца или телекинез либо лучи контроллера движений.	Когда моя рука рядом с объектом, я вижу захватные маркеры или появление ограничивающего прямоугольника.	Я слышу звуковые сигналы и вижу анимацию при захвате и выпуске.
Направление головы и фиксация	Я вижу курсор в центре моей видимой зоны.	Курсор изменяется над определенными объектами.	Я вижу визуальные подтверждения или слышу звуковые подтверждения при определенных действиях.
Без использования рук (Направление головы и остановка)	Я вижу курсор в центре моей видимой зоны.	Я вижу индикатор хода выполнения, когда останавливаюсь на интерактивном объекте.	Я вижу визуальные подтверждения или слышу звуковые подтверждения при определенных действиях.
Без использования рук (Голосовые команды)	Я вижу индикатор прослушивания и заголовки, которые показывают, что слышала система.	Я получаю голосовые приглашения и указания. Когда я говорю: "Что можно говорить?" Я вижу отзыв.	Я вижу или слышу визуальные и звуковые подтверждения, когда даю команду, или пользовательский интерфейс устраняет неоднозначность, когда это необходимо.

Ниже приведены вопросы, которые, по нашему мнению, помогут командам выбрать модель взаимодействия.

Вопрос. Хотят ли мои пользователи хотят дотрагиваться до голограмм и выполнять точные голографические операции?

Ответ. Если это так, ознакомьтесь с моделью взаимодействия "Руки и контроллеры движений" для точного нацеливания и манипулирования.
Вопрос. Должны ли руки пользователей быть свободны, чтобы они могли выполнять определенные задачи в реальности?

Ответ. Если это так, обратите внимание на модель "Без использования рук", которая обеспечивает отличные возможности взаимодействия на основе направления взгляда и голосовых команд.
Вопрос. У моих пользователей есть время, чтобы освоить работу с моим приложением MR, или им нужно взаимодействие с минимальным периодом обучения?

Ответ. Рекомендуем использовать модель "Контроллеры движения и жестов". Обучение работе с ней не занимает много времени, и она обеспечивает наиболее интуитивно простое взаимодействие, если пользователи могут задействовать руки.
Вопрос. Используют ли мои пользователи контроллеры движения для указывания и операций?

Ответ. Для модели "Руки и контроллеры движений" предоставляются полные инструкции, которые обеспечат успешную работу с контроллерами движения.
Вопрос. Используют ли мои пользователи контроллер специальных возможностей или обычный контроллер Bluetooth, такой как кликер?

Ответ. Мы рекомендуем использовать модель "Направление головы и подтверждение" для всех контроллеров, которые не отслеживаются. Она обеспечивает полное взаимодействие пользователя с системой с помощью простого механизма нацеливания и подтверждения.
Вопрос. Мои пользователи будут работать только с помощью "переходов" (например, в среде, похожей на слайд-шоу в трехмерном пространстве), не используя навигацию по многоуровневым элементам управления пользовательского интерфейса?

Ответ. Если пользователям не нужно управлять большим числом объектов пользовательского интерфейса, "Направление головы и фиксация" предлагает удобный для изучения вариант, в котором пользователям не нужно беспокоиться о нацеливании.
Вопрос. Используют ли мои пользователи как HoloLens (1-го поколения), так и HoloLens 2 или иммерсивные гарнитуры (гарнитуры виртуальной реальности) Windows Mixed Reality?

Ответ. Так как "Направление головы и фиксация" — это модель взаимодействия для HoloLens (1-го поколения), мы рекомендуем, чтобы разработчики, которые используют HoloLens (1-го поколения), применяли модель "Направление головы и фиксация" для любых функций или режимов, с которыми пользователи будут работать на гарнитуре HoloLens (1-го поколения). Подробные сведения о том, что нужно для комфортной работы с HoloLens разных поколений, см. в следующем разделе Переходные модели взаимодействия.
Вопрос. Есть ли различия между моделями для пользователей, которые обычно работают в большом пространстве или перемещаются между разными пространствами, и пользователей, которые обычно работают в одном пространстве?

Ответ. Любая из моделей взаимодействия подойдет этим пользователям.

Примечание

В ближайшее время появятся дополнительные руководства, касающиеся дизайна приложения.

Переходные модели взаимодействия

Иногда нужно использовать более одной модели взаимодействия. Например, при создании приложения используется модель Контроллеры движений и жестов, но вам нужно применить режим "без использования рук" для выездных техников. Если ваш интерфейс требует нескольких моделей взаимодействия, пользователи могут столкнуться с трудностями при переходе от одной модели к другой, особенно если они недавно начали использовать смешанную реальность.