Что такое Mixed Reality Toolkit 2?

Набор средств для смешанной реальности


MRTK-Unity — это проект, управляемый Майкрософт, который предоставляет набор компонентов и функций для ускорения кроссплатформенной разработки приложений смешанной реальности в Unity. Ниже приведены некоторые его функции.

  • Предоставляет кросс-платформенную систему ввода и стандартные блоки для пространственных взаимодействий и пользовательского интерфейса.
  • Поддерживает быстрое создание прототипов с помощью имитации в редакторе, позволяющей сразу просматривать изменения.
  • Работает как расширяемая платформа, предоставляющая разработчикам возможность менять основные компоненты.
  • Поддерживает широкий ряд платформ:
Платформа Поддерживаемые устройства
OpenXR (Unity 2020.3.8 и выше) Microsoft HoloLens 2;
гарнитуры смешанной реальности Windows Mixed Reality;
Windows Mixed Reality Microsoft HoloLens;
Microsoft HoloLens 2;
гарнитуры смешанной реальности Windows Mixed Reality;
Oculus (Unity 2019.3 или более поздней версии): Oculus Quest.
OpenVR: гарнитуры смешанной реальности Windows Mixed Reality;
HTC Vive;
Oculus Rift;
отслеживание рук Ultraleap. Leap Motion Controller (Ultraleap)
Мобильные службы iOS и Android
Платформа Поддерживаемые устройства
OpenXR (предварительная версия в MRTK 2.6, Unity 2020.3.8 и выше) Microsoft HoloLens 2;
гарнитуры смешанной реальности Windows Mixed Reality;
Windows Mixed Reality Microsoft HoloLens;
Microsoft HoloLens 2;
гарнитуры смешанной реальности Windows Mixed Reality;
Oculus (Unity 2019.3 или более поздней версии): Oculus Quest.
OpenVR: гарнитуры смешанной реальности Windows Mixed Reality;
HTC Vive;
Oculus Rift;
отслеживание рук Ultraleap. Leap Motion Controller (Ultraleap)
Мобильные службы iOS и Android

Примечание

Мы представили общедоступную предварительную версию MRTK3, которая является развитием MRTK. Дополнительные сведения см. в документации по MRTK3.

Начало работы с MRTK

Если вы не знакомы с MRTK или разработкой для смешанной реальности в Unity, мы рекомендуем установить и изучить пример приложения из центра примеров MRTK на устройстве или в эмуляторе.

Ознакомившись с MRTK и Смешанной реальностью, установите необходимые средства и следуйте инструкциям из серии руководств по HoloLens 2 для начинающих.

Хотите узнать, как это работает?

Документация

Заметки о выпуске
Заметки о выпуске
Обзор MRTK
Обзор MRTK
Справочник по API
Справочник по интерфейсам API

Состояние сборки

Ветвь Состояние CI Состояние документации
main Состояние CI Состояние документации

Функциональные области

Стандартные блоки пользовательского интерфейса

ButtonКнопка
Элемент управления типа "кнопка", поддерживающий различные методы ввода, в том числе свободный ввод с отслеживаем рук в HoloLens 2.

Bounds ControlЭлемент управления границами
Стандартный пользовательский интерфейс для манипулирования объектами в трехмерном пространстве.

Object ManipulatorМанипулятор объектов
Скрипт для манипулирования объектами одной или двумя руками.

SlateГрифель
Плоскость в двухмерном стиле, поддерживающая прокрутку с помощью свободного ввода рукой.

System KeyboardСистемная клавиатура
Пример скрипта для использования системной клавиатуры в Unity.

InteractableИнтерактивный объект
Скрипт, обеспечивающий взаимодействие с объектами, с поддержкой визуальных состояний и тем.

SolverРешатель
Различные модели поведения для позиционирования объектов, такие как следование (tag-along), прикрепление к пользователю (body-lock), зафиксированный размер просмотра (constant view size) и поверхностный магнетизм (surface magnetism).

Object CollectionКоллекция объектов
Скрипт для размещения массива объектов в трехмерной фигуре.

TooltipПодсказка
Пользовательский интерфейс заметок с гибкой системой привязки и поворота, который можно использовать, чтобы помечать контроллеры движений и объекты.

SliderПолзунок
Пользовательский интерфейс ползунков для изменения значений, поддерживающих взаимодействие с прямым отслеживанием рук.

MRTK Standard ShaderСтандартный шейдер MRTK
Стандартный шейдер MRTK поддерживает различные элементы интерфейса Fluent с достаточной производительностью.

Hand MenuМеню руки
Привязанный к руке пользовательский интерфейс, обеспечивающий быстрый доступ и использующий решатель ограничения руки.

App BarПанель приложения
Пользовательский интерфейс для активации элемента управления границами вручную.

PointersУказатели
Сведения о различных типах указателей.

Fingertip VisualizationВизуализация с использованием кончика пальца
Визуальный маркер на кончике пальца, повышающий уверенность в прямом взаимодействии.

Near MenuБыстрое меню
Пользовательский интерфейс подвешенного меню для быстрых взаимодействий.

Spatial Awareness Getting startedПредставление отслеживания пространственного положения
Обеспечьте взаимодействие голографических объектов с физическими средами.

Voice CommandГолосовая команда
Скрипты и примеры для интеграции голосового ввода.

Progress IndicatorИндикатор хода выполнения
Визуальный индикатор, сообщающий о ходе процесса или операции.

DialogДиалоговое окно
Элемент пользовательского интерфейса для получения подтверждения пользователя.

Hand CoachОбучающая рука
Компонент, помогающий направлять пользователя, если жест еще не выучен.

Hand Physics ServiceСлужба физического взаимодействия с помощью рук [экспериментальная функция]
Служба физического взаимодействия с помощью рук поддерживает события столкновения с твердым телом и взаимодействия с помощью свободного ввода руками.

Scrolling CollectionКоллекция прокрутки
Коллекция объектов со встроенной поддержкой прокрутки трехмерных объектов.

DockДок-панель [экспериментальная функция]
Док-панель позволяет перемещать объекты между заранее определенными позициями.

Eye Tracking: Target SelectionОтслеживание взгляда: выбор цели
Объедините ввод с помощью взгляда, голоса и рук для быстрого и простого выбора голограмм в сцене.

Eye Tracking: NavigationОтслеживание взгляда: навигация
Узнайте, как автоматически прокручивать текст или быстро увеличить масштаб выбранного содержимого с учетом того, на что направлен ваш взгляд.

Eye Tracking: Heat MapОтслеживание взгляда: тепловая карта
Примеры ведения журналов, загрузки и визуализации того, на что смотрят пользователи в вашем приложении.

Инструменты

Optimize WindowОкно оптимизации Dependency WindowОкно зависимости Build WindowОкно сборки Input recordingЗапись ввода
Автоматизируйте настройку проектов смешанной реальности, чтобы оптимизировать производительность. Анализируйте зависимости между активами и выявляйте неиспользуемые активы. Настройте и выполните комплексный процесс сборки для приложений смешанной реальности. Записывайте и воспроизводите данные о перемещении головы и отслеживания рук в редакторе.

Примеры сцен

MRTK предоставляет примеры сцен, которые демонстрируют использование функций MRTK. Примеры сцен можно найти в папке Assets/MRTK/Examples/Demos. Изучите страницу Примеры сцен, чтобы узнать, как получить и выполнять примеры сцен. Сцена с примерами взаимодействий с помощью рук позволяет изучить базовые блоки MRTK для взаимодействий и пользовательского интерфейса.

Пример сцены 2

Центр примеров MRTK

В центре примеров MRTK вы можете опробовать различные сцены MRTK, при этом вам не понадобится создавать и развертывать каждую сцену. Вы можете скачать готовые пакеты приложений для HoloLens (x86), HoloLens 2 (ARM) и иммерсивных гарнитур Windows Mixed Reality (x64), выбрав пакет Mixed Reality Toolkit Examples в средстве MR Feature Tool. Обязательно используйте портал устройств Windows для установки приложений в HoloLens (1-го поколения). Для HoloLens 2 можно скачать и установить Центр примеров MRTK с помощью приложения Microsoft Store.

Дополнительные сведения о создании центра со сценами с помощью системы сцен и службы перехода между сценами MRTK см. на странице сведений Центра примеров.

Центр примеров сцен

Примеры приложений, созданных с помощью MRTK

Периодическая таблица элементов Исследование галактики Пример приложения Surfaces
Periodic Table of the Elements — это пример приложения с открытым кодом, которое демонстрирует, как использовать систему ввода и стандартные блоки MRTK для создания интерфейса приложения для HoloLens и иммерсивных гарнитур. Прочитайте историю о портировании приложения Periodic Table of the Elements на HoloLens 2 с помощью MRTK v2. Galaxy Explorer — пример приложения с открытым кодом, которое изначально было разработано для HoloLens в марте 2016 г. в рамках кампании Share Your Idea. В Galaxy Explorer добавлены новые возможности для HoloLens 2 с помощью MRTK v2. Прочитайте историю о создании Galaxy Explorer для HoloLens 2. Surfaces — это пример приложения с открытым кодом для HoloLens 2, которое демонстрирует, как мы можем вызвать тактильные ощущения с помощью визуализации, звуков и отслеживания свободных движений рук. Ознакомьтесь с докладом Microsoft MR Dev Days по наработкам при разработке и использовании приложения Surfaces, чтобы узнать больше о проектировании и разработке.

Видео докладов с Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Учебник по созданию простого приложения MRTK с нуля. Узнайте больше о понятиях взаимодействия и мультиплатформенных возможностях MRTK. Изучите стандартные блоки взаимодействий в MRTK, которые помогут вам создать великолепные среды смешанной реальности. Вводная информация о встроенных и внешних средствах оценки производительности для MRTK, а также стандартного шейдера MRTK.

Другие видео с докладами см. на странице Mixed Reality Dev Days.

Присоединяйтесь к сообществу

В рамках этого проекта действуют правила поведения в отношении продуктов с открытым исходным кодом Майкрософт. Дополнительные сведения: Вопросы и ответы по правилам поведения. С любыми другими вопросами или комментариями обращайтесь по адресу opencode@microsoft.com.

Полезные ресурсы в Центре разработки для смешанной реальности

DiscoverОбнаружение DesignПроектирование DevelopРазработка Distribute)Распространение
Узнайте, как создавать взаимодействия смешанной реальности для HoloLens и иммерсивных гарнитур (виртуальная реальность). Получите руководства по проектированию. Создайте пользовательский интерфейс. Узнайте о взаимодействиях и способах ввода. Получите руководства по разработке. Узнайте о технологиях. Изучите их научную основу. Подготовка приложения для других пользователей и создание средства для запуска трехмерных приложений.

Полезные ресурсы в Azure

Пространственные привязки
Пространственные привязки
Speech ServicesСлужбы Речи Vision ServicesСлужбы компьютерного зрения
Пространственные привязки — это кросс-платформенная служба, которая позволяет создавать взаимодействия смешанной реальности с использованием объектов, сохраняющих свое расположение на различных устройствах с течением времени. Откройте для себя и интегрируйте в свое приложение возможности обработки речи на платформе Azure, такие как преобразование речи в текст, распознавание говорящего или перевод речи. Идентифицируйте изображения или видео с помощью служб визуального распознавания с такими возможностями, как компьютерное зрение, определение лиц, распознавание эмоций или индексация видео.

Как стать соавтором

Узнайте, как принять участие в разработке MRTK.

Получение справки

Если при использовании MRTK у вас возникли проблемы или появились вопросы, вам помогут следующие ресурсы: