Рекомендации по пространственному звуку
Если вы еще не работали с пространственным звуком, см. обзор пространственного звука.
Звук можно использовать для информирования и укрепления ментальной модели пользователя о состоянии приложения. При необходимости используйте пространственное размещение звуков в мире смешанной реальности. При соединении слухового и визуального элементов таким образом вы углубляете интуитивно понятный характер взаимодействия и повышаете доверие пользователей.
Когда следует добавлять звуки
Приложения смешанной реальности часто больше нуждаются в звуке, чем в двухмерных приложениях из-за отсутствия тактильных интерфейсов. Добавляйте звуки, когда они информируют пользователя или усиливают взаимодействие.
Информирование и усиление
- Для событий, которые не инициируются пользователем, таких как уведомления, используйте звук, чтобы сообщить пользователю о том, что произошло изменение.
- Взаимодействие может иметь несколько этапов. Используйте звук для усиления переходов сцены.
Ознакомьтесь со следующими примерами взаимодействий, событий и предлагаемых характеристик звука.
Ограничение упражнений
Пользователи не имеют неограниченной емкости для звуковой информации.
- Каждый звук должен передавать определенную ценную информацию.
- Когда приложение воспроизводит звук для информирования пользователя, временно уменьшите громкость других звуков.
- Для звуков наведений на кнопку (см. следующие сведения) добавьте временную задержку, чтобы предотвратить чрезмерное срабатывание звука.
Не полагайтесь исключительно на звуки
Звуки, которые хорошо используются, являются ценными для пользователей. Но убедитесь, что приложение доступно даже при отключенных звуках.
- Пользователи могут быть слабослышащими.
- Приложение может использоваться в громкой среде.
- Пользователи могут иметь проблемы с конфиденциальностью или другие причины для отключения звука устройства.
Как сонафицировать взаимодействия
Типы взаимодействия в смешанной реальности включают жесты, прямые манипуляции и голос. Используйте следующие предлагаемые характеристики, чтобы выбрать или спроектировать звуки для этих взаимодействий.
Взаимодействие с жестами
В смешанной реальности пользователи могут взаимодействовать с кнопками с помощью мыши. Действия кнопки обычно происходят, когда пользователь отпускает, а не нажимает кнопку, чтобы дать пользователю возможность отменить взаимодействие. Используйте звуки для усиления этих этапов. Чтобы помочь пользователям в нацеливание на удаленные кнопки, также рассмотрите возможность использования звука указателя при наведении указателя.
- Звуки нажатия кнопки должны быть короткими, тактильными "щелчок".
Пример : MRTK_ButtonPress.wav - Кнопка-"unpress" звуки должны иметь аналогичные тактильные ощущения. Более высокий шаг, чем звук прессы, усиливает чувство завершения.
Пример: MRTK_ButtonUnpress.wav - Для звуков при наведении курсора рекомендуется использовать тонкий и не угрожающий звук, например низкочастотный стук или удар.
Непосредственное манипулирование
На HoloLens 2 функция отслеживания рук поддерживает прямое управление элементами пользовательского интерфейса. Звуки важны, когда нет других физических отзывов.
Звук нажатия кнопки важен, так как пользователь не получает никаких других указаний при достижении нижней части росчерка клавиши. Звуковые индикаторы ключевых путешествий могут быть небольшими, тонкими и occluded. Как и в случае с жестами, нажатие кнопки должно получить короткий тактильный звук, похожий на щелчок. Нежимые должны иметь аналогичный звук щелчка, но с поднятым шагом.
- Пример : MRTK_ButtonPress.wav
- Пример: MRTK_ButtonUnpress.wav
Трудно визуально подтвердить действие захвата или освобождения. Рука пользователя часто оказывается на пути какого-либо визуального эффекта, а жесткие объекты не имеют реального визуального аналога "захвата". Звуки могут эффективно сообщать об успешном захвате и освобождении взаимодействия.
- Действия захвата должны иметь короткий, несколько приглушенный тактильный звук, который побуждает к мысли о том, что пальцы закрываются вокруг объекта. Иногда также есть "whoosh" звук, который приводит к захвату звук для передачи движения руки.
Пример: MRTK_Move_Start.wav - Действия по освобождению должны получить такой же короткий и тактильный звук. Обычно он ниже, чем звук захвата и в обратном порядке, с ударом, а затем "whoosh", чтобы сообщить, что объект поселился на месте.
Пример: MRTK_Move_End.wav
Взаимодействие с рисунком должно получить постоянный, цикливный звук с громкость, определяемой движением руки пользователя. Он должен быть безмолвным, когда рука пользователя по-прежнему, и громче, когда рука движется быстро.
Голосовое взаимодействие
Голосовые взаимодействия часто имеют тонкие визуальные элементы. Используйте звуки для усиления этапов взаимодействия. Вы можете использовать более тональные звуки, чтобы отличить их от жестов и прямых манипуляций.
- Используйте положительный тон для подтверждения голосовых команд. Рост тонов и основные музыкальные интервалы являются эффективными.
- Используйте более короткий, менее положительный тон для сбоев голосовых команд. Избегайте отрицательных звуков. Вместо этого используйте более ударный, нейтральный звук, чтобы сообщить, что приложение переходит от взаимодействия.
- Если в приложении есть слово для пробуждения, используйте короткий мягкий тон, когда устройство начнет прослушивать. Используйте тонкий звук цикла во время прослушивания приложения.
Уведомления
Уведомления сигналит об изменениях состояния приложения и других событиях, которые пользователь не инициировал. Изменения состояния могут включать завершение процесса, сообщения и телефонные звонки.
В смешанной реальности объекты иногда перемещаются из поля зрения пользователя. Связывание движущихся анимированных объектов с пространственным звуком, зависящим от типа объекта и скорости движения.
- Он помогает воспроизвести пространственный звук в конце анимации, чтобы сообщить пользователю о новом положении объекта.
- При постепенном перемещении звук "whoosh" во время движения помогает пользователю отслеживать объект.
Звуки уведомлений о сообщениях могут быть слышны многократно, иногда в быстрой последовательности. Важно, чтобы они не выделялись и не звучали резко. Эффективны положительные тональные звуки среднего диапазона.
- Звуки входящих вызовов должны иметь такие же качества, как и мелодия звонка мобильного телефона. Эти звуки зацикливает музыкальные фразы, которые играют до тех пор, пока пользователь не ответит на вызов.
- Голосовое соединение и отключение должны иметь короткий тональный звук. Звук соединения должен быть положительным, чтобы указать на успешное соединение. Звук отключения должен быть нейтральным звуком, указывающим на завершение вызова.
Обработка пространственной обработки
В пространственизации используются стереонаушники или динамики для размещения звуков в мире смешанной реальности.
Звуки для пространственной визуализации
Звук должен быть пространственным, если он связан с событием, которое имеет пространственное расположение. Сюда входят пользовательский интерфейс, воплощенные голоса ИИ и визуальные индикаторы.
Пространственные элементы пользовательского интерфейса помогают отключать звуковое "пространство" пользователя, ограничивая количество звуковых звуков, которые они слышат. Взаимодействие с манипуляциями, например касание, захват и освобождение, становится более естественным при пространственной обратной связи аудио. Рассмотрим следующие сведения об затухаемости расстояния для этих элементов.
Пространственные визуальные индикаторы и воплощенные голоса ИИ , чтобы интуитивно информировать пользователей, когда эти объекты находятся вне поля зрения.
В отличие от этого, избегайте пространственной развязки для безликих голосов ИИ и других элементов, где отсутствует четко определенное пространственное расположение. Пространственные элементы без связанного визуального элемента могут отвлекать пользователей на мысли о том, что они не могут найти визуальный элемент.
Пространственные операции поставляются с некоторыми затратами на ЦП. Во многих приложениях одновременно воспроизводит не более двух звуков. Затраты на пространственные операции в этом случае, скорее всего, будут незначительными. Вы можете использовать монитор частоты кадров MRTK, чтобы оценить влияние добавления пространственных данных.
Когда и как применять затухание на основе расстояния
В физическом мире звуки, которые находятся дальше, тише. Звуковой модуль может моделировать это затухание на основе расстояния от источника. Используйте затухание на основе расстояния при обмене релевантными сведениями.
Расстояния до визуальных индикаторов, анимированных голограмм и других информативных звуков актуальны для пользователя. Используйте затухание на основе расстояния, чтобы интуитивно предоставлять подсказки.
Настройте кривую затухания для каждого источника в соответствии с размером пространств в мире смешанной реальности. Кривая звукового двигателя по умолчанию часто предназначена для больших (до полукилометра) пространств.
Звуки, которые усиливают прогрессивные этапы действий кнопки и других взаимодействий, не должны затухать. Эффекты усиления этих звуков важнее, чем передача расстояния к кнопке. Варианты могут отвлекать, особенно с клавиатурами, когда многие нажатия кнопок могут быть услышаны последовательно.
Какую технологию пространственных операций использовать
В наушниках или динамиках HoloLens используйте технологии пространственной развязки на основе функции передачи головы (HRTF). Эти технологии моделировают распространение звука вокруг головы в физическом мире. Даже если источник звука находится на дальней стороне головы, звук распространяется на далекое ухо с некоторой затуханием и задержкой. Сдвиг динамиков зависит только от затухания и применяет общее затухание в левом ухе, когда звуки находятся справа, и наоборот. Этот метод может быть неудобным для "нормального слуха" слушателей и недоступен для слушателей, которые плохо слышат в одном ухе.