Использование эмулятора HoloLens

Статья
03/21/2023

Эмулятор HoloLens позволяет тестировать голографические приложения на обычном компьютере без физического устройства HoloLens. Он включает в себя набор средств разработки для HoloLens. Эмулятор использует виртуальную машину Hyper-V, то есть все данные, получаемые датчиками HoloLens от человека и окружающей среды, имитируются действиями с клавиатуры, мыши или контроллера Xbox. Для запуска проекта в эмуляторе не потребуется вносить в него никаких изменений, так как приложение не сможет отличить работу в эмуляторе от работы на реальном HoloLens.

Если вы планируете разрабатывать приложения или игры для настольных компьютеров с Windows Mixed Reality и гарнитурой смешанной реальности (VR), см. дополнительные сведения о симуляторе Windows Mixed Reality, который позволяет имитировать гарнитуры для классических приложений.

Общие сведения об эмуляторе HoloLens 2

Установка эмулятора HoloLens

Скачайте эмулятор HoloLens.

Доступные версии:

Скачайте последнюю сборку на странице архива эмулятора HoloLens.
Эмулятор HoloLens (1-го поколения) и шаблоны голографических проектов.

Системные требования для эмулятора HoloLens

Эмулятор HoloLens использует Hyper-V с RemoteFx (эмулятор 1-го поколения) или GPU-PV (эмулятор HoloLens 2) для аппаратного ускорения графики. Чтобы использовать эмулятор, ваш компьютер должен соответствовать следующим требованиям к оборудованию:

64-разрядная версия Windows 10 Pro, Корпоративная или для образовательных учреждений.

Примечание

Выпуск Windows 10 Домашняя не поддерживает Hyper-V и эмулятор HoloLens.
Для эмулятора HoloLens 2 требуется обновление Windows от 10 октября 2018 г. или более поздней версии.
64-разрядный ЦП.
ЦП с четырьмя ядрами (или несколько процессоров с четырьмя ядрами в сумме).
ОЗУ не менее 8 ГБ.
Следующие компоненты должны быть доступными и включенными в BIOS:
- Аппаратные средства виртуализации
- преобразование адресов второго уровня (SLAT);
- аппаратное предотвращение выполнения данных (DEP).
Требования к графическому процессору:
- DirectX 11.0 или более поздней версии.
- Графический драйвер WDDM 1.2 или более поздней версии (для 1-го поколения).
- Графический драйвер WDDM 2.5 (для эмулятора HoloLens 2).
- Возможно, эмулятор будет работать с неподдерживаемым графическим процессором, но медленнее.

Если ваша система соответствует приведенным выше требованиям, убедитесь, что в ней включена функция Hyper-V. На компьютере с Windows 10 перейдите в раздел Панель управления Программы > Программы и компоненты > Включение или отключение компонентов Windows и убедитесь, что здесь включен компонент >.

Развертывание приложений в эмуляторе HoloLens

Загрузите решение приложения в Visual Studio.

Примечание

Если вы используете Unity, выполните сборку проекта из Unity и загрузите созданное решение в Visual Studio, как обычно.
Для эмулятора HoloLens (1-го поколения) нужно выбрать платформу x86. Для эмулятора HoloLens 2 должна быть выбрана платформа x86 или x64.
Выберите нужную версию эмулятора HoloLens в качестве целевого устройства для отладки.
Выберите Отладка Начать отладку или нажмите клавишу F5, чтобы запустить эмулятор и развернуть в нем приложение для отладки.

Загрузка эмулятора при первом запуске может занять несколько минут. Мы рекомендуем оставить эмулятор открытым во время всего сеанса отладки, чтобы быстро развертывать в нем приложения.

Базовые устройства ввода для эмулятора

Управление эмулятором осуществляется так же, как в стандартных трехмерных играх. В качестве устройств ввода можно использовать клавиатуру, мышь или контроллер Xbox. Управление эмулятором осуществляется путем контроля над действиями имитируемого пользователя с устройством HoloLens. С помощью ваших действий имитируемый пользователь движется в среде. Приложения в эмуляторе, работают так же, как на реальном устройстве.

Курсор в HoloLens (1-го поколения) отслеживает перемещения и повороты головы. В эмуляторе HoloLens 2 курсор отслеживает перемещения и направление головы.

Перемещение вперед, назад, влево и вправо — нажимайте клавиши W, A, S и D на клавиатуре или перемещайте левый джойстик на контроллере Xbox.
Взгляд вверх, вниз, влево и вправо — перемещайте мышь с нажатой левой кнопкой, используйте клавиши со стрелками на клавиатуре или перемещайте правый джойстик на контроллере Xbox.
Жест касания — нажмите правую кнопку мыши, клавишу ВВОД на клавиатуре или кнопку A на контроллере Xbox.
Жест раскрытия ладони — нажмите клавишу Windows или F2 на клавиатуре или клавишу B на контроллере Xbox.
Перемещение руки для прокрутки — одновременно удерживая нажатой клавишу Alt и правую кнопку мыши, перетаскивайте указатель мыши вверх или вниз. На контроллере Xbox перемещайте правый джойстик влево и вправо, удерживая нажатыми правый триггер и кнопку A.
Перемещение и ориентация руки (только в эмуляторе HoloLens 2) — чтобы перемещать руку, перемещайте мышь вверх, вниз, влево или вправо, удерживая нажатой клавишу ALT. Для поворота и наклона руки можно использовать клавиши со стрелками и клавиши Q/E. На контроллере Xbox, удерживая нажатым левый или правый бампер, левым джойстиком перемещайте руку влево, вправо, вперед или назад, а правым джойстиком вращайте ее. Клавиши вверх и вниз на Dpad позволяют поднять или опустить руку.

У вас есть иммерсивная гарнитура Windows Mixed Reality? Эмулятор HoloLens 2 (Windows Holographic, версия 2004) поддерживает взаимодействие с иммерсивной гарнитурой и контроллерами движения Windows Mixed Reality, а также просмотр соответствующего содержимого в стереорежиме. См. раздел Использование иммерсивной гарнитуры и контроллеров движений Windows Mixed Reality с эмулятором HoloLens 2.

Анатомия эмулятора HoloLens 2

Главное окно

Главное окно эмулятора HoloLens 2

Справа от главного окна размещена панель инструментов эмулятора. На панели инструментов расположены следующие кнопки:

Закрыть: закрывает эмулятор.
Свернуть: свертывает окно эмулятора.
Панель управления симуляторами: показывает или скрывает панель управления симуляторами, которая позволяет настраивать устройства ввода для эмулятора и управлять ими.
На весь экран: разворачивает окно эмулятора на экране.
Масштабирование: увеличивает или уменьшает окно эмулятора.
Справка: открывает справку эмулятора.
Открыть портал устройств: открывает в эмуляторе портал устройств Windows для HoloLens OS.
Средства: открывает область Additional tools (Дополнительные средства).

Панель управления имитированием

Панель управления имитацией позволяет просматривать текущее положение и ориентацию имитируемого человека и устройств ввода. Также вы здесь можете настроить имитируемые устройства ввода, например отобразить или скрыть одну или обе руки, либо выбрать для управления этими устройствами клавиатуру, мышь и игровой контроллер.

Панель управления имитированием

Чтобы скрыть или показать панель управления имитированием, нажмите соответствующую кнопку на панели инструментов или клавишу F7 на клавиатуре.
Наведите указатель мыши на элемент управления или поле, чтобы отобразилась всплывающая подсказка с описанием действий на клавиатуре, мыши и игровом контроллере для управления этим элементом.
Чтобы отобразить или скрыть руку, измените положение соответствующего переключателя для левой или правой руки.
Для управления движением руки, нажмите левую или правую клавишу ALT на клавиатуре или левый или правый бампер на игровом контроллере.
Чтобы переключить управление на одну или обе руки, установите под выключателем метку, которая действует аналогично нажатию клавиши ALT для руки.
Чтобы управлять направлением взгляда, установите в разделе Eyes (Глаза) метку, которая действует аналогично нажатию клавиши Y на клавиатуре.
Чтобы загрузить запись комнаты, щелкните кнопку Load (Загрузить) в разделе Recording (Запись). См. подробнее об имитируемых комнатах.
Чтобы изменить скорость движения или поворота имитируемого человека либо устройств ввода в ответ на манипуляции с клавиатурой, мышью или игровым контроллером, щелкните значок шестеренки рядом с элементом Input settings (Параметры ввода) и переместите ползунки.
По умолчанию имитируемый человек и имитируемое устройство ввода управляются с клавиатуры. Чтобы переключить ввод с клавиатуры компьютера на HoloLens, снимите флажок Use keyboard for simulation (Использовать клавиатуру для имитации). Этот параметр переключается с помощью клавиши F4.
Если панель имитации уже отображается, с помощью клавиши F8 можно переместить в нее фокус клавиатуры.
Чтобы открепить панель имитирования от окна эмулятора, нажмите кнопку в нижней части панели или клавишу F9 на клавиатуре. При закрытии окна или повторном нажатии клавиши F9 это окно снова отображается в эмуляторе.
Панель управления симуляторами можно открыть как отдельное приложение, чтобы подключиться для управления к эмулятору HoloLens 2, устройству HoloLens 2 или модели Windows Mixed Reality, запустив файл PerceptionSimulationInput.exe из папки %ProgramFiles(x86)%\Windows Kits\10\Microsoft XDE\10.0.18362.0.

Вкладка "Account" (Учетная запись)

На вкладке Account (Учетная запись) вы можете настроить для эмулятора вход в систему с учетной записью Майкрософт. Это полезно для тестирования API-интерфейсов, которые требуют входа пользователя с учетной записью. Чтобы переключить этот параметр, нужно закрыть и перезапустить эмулятор HoloLens. Если этот параметр включен, при последующих запусках эмулятор предложит выполнять вход, как для обычного пользователя при первом запуске HoloLens. Чтобы ввести учетные данные с клавиатуры компьютера, прежде всего отключите параметр Use keyboard for simulation (Использовать клавиатуру для имитации) на панели управления имитацией. Для этого снимите флажок или нажмите клавишу F4 на клавиатуре.

Вкладка "Optional Settings" (Дополнительные параметры)

На вкладке "Optional Settings" (Дополнительные параметры) отображается элемент управления, который позволяет включить или отключить аппаратное ускорение графики. Аппаратное ускорение графики по умолчанию включено, если его поддерживает графический адаптер компьютера. Если драйвер видеоадаптера не поддерживает GPU-PV, этот параметр будет скрыт.

Вкладка "Diagnostics" (Диагностика)

Вкладка Diagnostics (Диагностика) отображает IP-адрес эмулятора в формате ссылки на портал устройств Windows, а также состояние виртуального графического процессора.

Вкладка "Network" (Сеть)

На вкладке "Network" (Сеть) отображаются сведения о сетевом адаптере эмулятора и сетевом адаптере главного компьютера. Для эмулятора HoloLens 2 эта вкладка отображается только при работе в ОС Windows 10 с обновлением Windows 10 за май 2019 г. или более поздним.

Вкладка "NAT Configuration" (Конфигурация NAT)

Эта вкладка отображается только при запуске эмулятора в Windows 2019 с обновлением Windows 10 за май 2019 г.

Эмулятор использует сетевое подключение компьютера и работает через NAT. Эта вкладка позволяет сопоставлять порты главного компьютера с эмулятором, что дает удаленным устройствам возможность подключаться к приложениям и службам, работающим в эмуляторе.

Например, если вы хотите получить доступ к порталу устройств в эмуляторе с удаленного компьютера, сделайте следующее.

Добавьте запись для внутреннего порта 80 (порт, через который портал устройств ожидает передачи данных), дважды щелкнув пустую строку в таблице. Для других приложений введите номер порта, через который приложение ожидает передачи данных.
Выберите любой доступный внешний порт. В этом примере мы будем использовать порт 8080 в качестве внешнего порта.
Выберите протокол. По умолчанию используется протокол TCP. Так как портал устройств использует протокол TCP, мы будем использовать протокол по умолчанию.
Щелкните "Apply Changes" (Применить изменения), чтобы включить сопоставление. Значение "Status" (Состояние) изменится с "Pending" (Ожидание) на "Active" (Активно).
На удаленном компьютере откройте браузер и перейдите по адресу (IP-адрес_компьютера_с_запущенным_эмулятором):8080. Отобразится интерфейс портала устройств. На удаленном компьютере нужно использовать IP-адрес компьютера, на котором работает эмулятор, а не самого эмулятора. Вы можете получить IP-адрес разными способами: запустить на компьютере приложение "Параметры" и открыть категорию "Сеть и Интернет", выполнить команду "ipconfig" в командной строке или перейти на вкладку "Network" (Сеть) в диалоговом окне "Tools" (Инструменты) эмулятора, чтобы найти запись "Desktop Adapter" (Адаптер для настольного ПК).

Кроме того, обратите внимание на то, что в случае добавления сопоставления портов для портала устройств можно будет удаленно управлять эмулятором с помощью инструмента Perception Simulation Control, входящего в установку эмулятора, или с помощью интерфейсов API имитации восприятия, подключившись к IP-адресу главного компьютера и внешнему порту портала устройств, например 8080, как в примере выше. При использовании инструмента Perception Simulation Control для удаленного подключения и управления эмулятором указывайте только IP-адрес компьютера и настроенный порт. Не включайте часть "https://".

Сопоставления портов по умолчанию отсутствуют. Все настроенные вами сопоставления сохраняются во время запусков эмулятора HoloLens 2 и включаются автоматически после полной загрузки эмулятора.

Используйте кнопку "Export" (Экспортировать), чтобы сохранить сопоставления в файл. Затем можно предоставить этот файл участникам команды, которые могут использовать кнопку "Import" (Импортировать), чтобы автоматически настроить те же сопоставления.

Вкладка

Вкладка "Updates" (Обновления)

Эта вкладка отображается только при запуске эмулятора в Windows 2019 с обновлением Windows 10 за май 2019 г.

При запуске эмулятор будет проверять наличие новых версий. Если доступна новая версия, эмулятор выведет запрос, указав текущую и доступную новую версии, и предложит выполнить обновление. Если щелкнуть"Yes" (Да), будет скачан установщик новой версии.

На вкладке "Updates" (Обновления) можно указать, будет ли эмулятор проверять наличие новых версий, установив или сняв флажок "Automatically check for updates" (Автоматически проверять наличие обновлений). Можно также просматривать и скачивать другие доступные версии эмулятора, начиная с обновления за сентябрь 2019 года. Для версий, отличных от текущей, предоставляется ссылка для скачивания. При выборе ссылки будет скачан установщик для данной версии.

Вкладка

Использование иммерсивной гарнитуры и контроллеров движения Windows Mixed Reality с эмулятором HoloLens 2

Эмулятор HoloLens 2 (Windows Holographic, версия 2004) поддерживает взаимодействие с гарнитурой и контроллерами движения Windows Mixed Reality, а также просмотр соответствующего содержимого в стереорежиме. Это повышает точность обработки более быстрых и естественных движений головой и руками без устройства HoloLens 2. Так вы не сможете полностью заменить устройство HoloLens 2, но взаимодействие с эмулятором удастся улучшить, не ограничиваясь манипуляциями с клавиатурой, мышью и игровым планшетом в двухмерном окне рабочего стола. Чтобы включить эту функцию, сделайте следующее:

Убедитесь, что на компьютере настроена среда Windows Mixed Reality и подключена иммерсивная гарнитура Windows Mixed Reality.
Запуск эмулятора HoloLens 2
Откройте панель моделирования. Для этого нажмите кнопку на панели инструментов или клавишу F7.
Прокрутите панель вниз до конца.
Установите флажок Use HMD for simulation (Использовать HMD для моделирования).
Будет запущена среда Windows Mixed Reality, и экран эмулятора немного изменится. Без гарнитуры эмулятор совмещает оба поля зрения по центру, отображая только одно. При использовании гарнитуры эмулятор формирует стереовывод, создавая только одно поле зрения для окна рабочего стола. При этом в гарнитуре отображается область обзора для обоих глаз.
При необходимости включите один или оба контроллера движения. Ввод контроллера сопоставляется с вводом руками в эмуляторе. Например, чтобы коснуться чего-то, потяните триггер на контроллере движения. Для перемещения используйте аналоговый стик. См. полный список элементов управления в статье Сложный ввод с помощью эмулятора HoloLens и симулятора Windows Mixed Reality.

Возникли проблемы с просмотром содержимого с помощью гарнитуры?

Если на дисплее ничего не отображается ни в гарнитуре, ни на Портале смешанной реальности, но вы видите содержимое в окне эмулятора HoloLens 2 на рабочем столе, убедитесь, что в эмуляторе включено аппаратное ускорение графики. Иммерсивная гарнитура Windows Mixed Reality позволяет включать аппаратное ускорение графики в эмуляторе.
Если вы видите содержимое в гарнитуре, но голограммы нечеткие или изображение двоится, выполните следующие действия, чтобы настроить стереовывод:

Временно отключите параметр Use HMD for simulation (Использовать HMD для моделирования).
Запустите редактор реестра (regedit.exe).
Перейдите к разделу HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\PerceptionSimulation.
Создайте новое значение DWORD с именем EnableEyePoseControl и задайте для него значение 1.
Включите параметр Use HMD for simulation (Использовать HMD для моделирования) в эмуляторе.
Когда содержимое отобразится в гарнитуре, используйте клавиши со стрелками для настройки вращения глаз. Удерживая клавиши ALT слева и справа, выполните настройку для левого и правого глаза соответственно. С помощью клавиш Q и E настройте движения каждого глаза, также удерживая соответствующую клавишу ALT. Используйте клавиши + и -, чтобы настроить расстояние между глазами. (Обратите внимание, что клавиши + и - на дополнительной клавиатуре не будут работать. Используйте клавиши на основной клавиатуре.)
Когда отобразится правильное стереоизображение, нажмите клавишу S, чтобы сохранить изменения. Новая конфигурация будет сохранена для будущих запусков эмулятора.
Если вы хотите отменить изменения и вернуться к предыдущей конфигурации, нажмите клавишу L, чтобы загрузить конфигурацию по умолчанию или предыдущую конфигурацию.
Измените значение EnableEyePoseControl в реестре на 0 и используйте параметр Use HMD for simulation (Использовать HMD для моделирования).

Если вы ранее сохранили конфигурацию и хотите ее удалить, вы можете удалить значение DisplayConfiguration в разделе HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\PerceptionSimulation. Если вы используете гарнитуру с эмулятором, необходимо отключить и снова включить параметр Use HMD for simulation (Использовать HMD для моделирования), чтобы убедиться, что это изменение применено.