Что такое Mixed Reality Toolkit

Набор средств для смешанной реальности


MRTK-Unity — это проект, управляемый Майкрософт, который предоставляет набор компонентов и функций для ускорения кроссплатформенной разработки приложений смешанной реальности в Unity. Ниже приведены некоторые его функции.

  • Предоставляет кросс-платформенную систему ввода и стандартные блоки для пространственных взаимодействий и пользовательского интерфейса.
  • Поддерживает быстрое создание прототипов с помощью имитации в редакторе, позволяющей сразу просматривать изменения.
  • Работает как расширяемая платформа, предоставляющая разработчикам возможность менять основные компоненты.
  • Поддерживает широкий ряд платформ:
Платформа Поддерживаемые устройства
OpenXR (Unity 2020.3.8 и выше) Microsoft HoloLens 2;
гарнитуры смешанной реальности Windows Mixed Reality;
Windows Mixed Reality Microsoft HoloLens;
Microsoft HoloLens 2;
гарнитуры смешанной реальности Windows Mixed Reality;
Oculus (Unity 2019.3 или более поздней версии): Oculus Quest.
OpenVR: гарнитуры смешанной реальности Windows Mixed Reality;
HTC Vive;
Oculus Rift;
отслеживание рук Ultraleap. Leap Motion Controller (Ultraleap)
Мобильные службы iOS и Android
Платформа Поддерживаемые устройства
OpenXR (предварительная версия в MRTK 2.6, Unity 2020.3.8 и выше) Microsoft HoloLens 2;
гарнитуры смешанной реальности Windows Mixed Reality;
Windows Mixed Reality Microsoft HoloLens;
Microsoft HoloLens 2;
гарнитуры смешанной реальности Windows Mixed Reality;
Oculus (Unity 2019.3 или более поздней версии): Oculus Quest.
OpenVR: гарнитуры смешанной реальности Windows Mixed Reality;
HTC Vive;
Oculus Rift;
отслеживание рук Ultraleap. Leap Motion Controller (Ultraleap)
Мобильные службы iOS и Android

Примечание

Старайтесь не использовать Unity 2020.3.21f и 2020.3.22f, так как это приводит к миганию и мерцанию в HoloLens 2. Дополнительные сведения см. здесь.

Начало работы с MRTK

Если вы не знакомы с MRTK или разработкой для смешанной реальности в Unity, мы рекомендуем установить и изучить пример приложения из центра примеров MRTK на устройстве или в эмуляторе.

Ознакомившись с MRTK и Смешанной реальностью, установите необходимые средства и следуйте инструкциям из серии руководств по HoloLens 2 для начинающих.

Хотите узнать, как это работает?

Документация

Заметки о выпуске
Заметки о выпуске
Обзор MRTK
Обзор MRTK
Справочник по API
Справочник по интерфейсам API

Состояние сборки

Ветвь Состояние CI Состояние документации
main Состояние CI Состояние документации

Функциональные области

Стандартные блоки пользовательского интерфейса

Кнопка Кнопка
Элемент управления типа "кнопка", поддерживающий различные методы ввода, в том числе свободный ввод с отслеживаем рук в HoloLens 2.

Элемент управления границами Элемент управления границами
Стандартный пользовательский интерфейс для манипулирования объектами в трехмерном пространстве.

Манипулятор объектов Манипулятор объектов
Скрипт для манипулирования объектами одной или двумя руками.

Грифель Грифель
Плоскость в двухмерном стиле, поддерживающая прокрутку с помощью свободного ввода рукой.

Системная клавиатура Системная клавиатура
Пример скрипта для использования системной клавиатуры в Unity.

Интерактивный объект Интерактивный объект
Скрипт, обеспечивающий взаимодействие с объектами, с поддержкой визуальных состояний и тем.

Решатель Решатель
Различные модели поведения для позиционирования объектов, такие как следование (tag-along), прикрепление к пользователю (body-lock), зафиксированный размер просмотра (constant view size) и поверхностный магнетизм (surface magnetism).

Коллекция объектов Коллекция объектов
Скрипт для размещения массива объектов в трехмерной фигуре.

Подсказка Подсказка
Пользовательский интерфейс заметок с гибкой системой привязки и поворота, который можно использовать, чтобы помечать контроллеры движений и объекты.

Ползунок Ползунок
Пользовательский интерфейс ползунков для изменения значений, поддерживающих взаимодействие с прямым отслеживанием рук.

Стандартный шейдер MRTK Стандартный шейдер MRTK
Стандартный шейдер MRTK поддерживает различные элементы интерфейса Fluent с достаточной производительностью.

Меню руки Меню руки
Привязанный к руке пользовательский интерфейс, обеспечивающий быстрый доступ и использующий решатель ограничения руки.

Панель приложения Панель приложения
Пользовательский интерфейс для активации элемента управления границами вручную.

Указатели Указатели
Сведения о различных типах указателей.

Визуализация с использованием кончика пальца Визуализация с использованием кончика пальца
Визуальный маркер на кончике пальца, повышающий уверенность в прямом взаимодействии.

Быстрое меню Быстрое меню
Пользовательский интерфейс подвешенного меню для быстрых взаимодействий.

Начало работы с отслеживанием пространственного положения Представление для отслеживания пространственного положения
Обеспечьте взаимодействие голографических объектов с физическими средами.

Голосовая команда Голосовая команда
Скрипты и примеры для интеграции голосового ввода.

Индикатор хода выполнения Индикатор хода выполнения
Визуальный индикатор, сообщающий о ходе процесса или операции.

Диалоговое окно Диалоговое окно
Элемент пользовательского интерфейса для получения подтверждения пользователя.

Обучающая рука Обучающая рука
Компонент, помогающий направлять пользователя, если жест еще не выучен.

Служба физического взаимодействия с помощью рук Служба физического взаимодействия с помощью рук [экспериментальная]
Служба физического взаимодействия с помощью рук поддерживает события столкновения с твердым телом и взаимодействия с помощью свободного ввода руками.

Коллекция прокрутки Коллекция прокрутки
Коллекция объектов со встроенной поддержкой прокрутки трехмерных объектов.

Док-панель Док-панель [экспериментальная]
Док-панель позволяет перемещать объекты между заранее определенными позициями.

Отслеживание взгляда: выбор цели Отслеживание взгляда: выбор цели
Объедините ввод с помощью взгляда, голоса и рук для быстрого и простого выбора голограмм в сцене.

Отслеживание взгляда: навигация Отслеживание взгляда: навигация
Узнайте, как автоматически прокручивать текст или быстро увеличить масштаб выбранного содержимого с учетом того, на что направлен ваш взгляд.

Отслеживание взгляда: тепловая карта Отслеживание взгляда: тепловая карта
Примеры ведения журналов, загрузки и визуализации того, на что смотрят пользователи в вашем приложении.

Инструменты

Окно оптимизации Окно оптимизации Окно зависимости Окно зависимости Окно сборки Окно сборки Запись ввода Запись ввода
Автоматизируйте настройку проектов смешанной реальности, чтобы оптимизировать производительность. Анализируйте зависимости между активами и выявляйте неиспользуемые активы. Настройте и выполните комплексный процесс сборки для приложений смешанной реальности. Записывайте и воспроизводите данные о перемещении головы и отслеживания рук в редакторе.

Примеры сцен

MRTK предоставляет примеры сцен, которые демонстрируют использование функций MRTK. Примеры сцен можно найти в папке Assets/MRTK/Examples/Demos. Изучите страницу Примеры сцен, чтобы узнать, как получить и выполнять примеры сцен. Сцена с примерами взаимодействий с помощью рук позволяет изучить базовые блоки MRTK для взаимодействий и пользовательского интерфейса.

Пример сцены 2

Центр примеров MRTK

В центре примеров MRTK вы можете опробовать различные сцены MRTK, при этом вам не понадобится создавать и развертывать каждую сцену. Вы можете скачать готовые пакеты приложений для HoloLens (x86), HoloLens 2 (ARM) и иммерсивных гарнитур Windows Mixed Reality (x64), выбрав пакет Mixed Reality Toolkit Examples в средстве MR Feature Tool. Обязательно используйте портал устройств Windows для установки приложений в HoloLens (1-го поколения). Для HoloLens 2 можно скачать и установить Центр примеров MRTK с помощью приложения Microsoft Store.

Дополнительные сведения о создании центра со сценами с помощью системы сцен и службы перехода между сценами MRTK см. на странице сведений Центра примеров.

Центр примеров сцен

Примеры приложений, созданных с помощью MRTK

Периодическая таблица элементов Исследование галактики Пример приложения Surfaces
Periodic Table of the Elements — это пример приложения с открытым кодом, которое демонстрирует, как использовать систему ввода и стандартные блоки MRTK для создания интерфейса приложения для HoloLens и иммерсивных гарнитур. Прочитайте историю о портировании приложения Periodic Table of the Elements на HoloLens 2 с помощью MRTK v2. Galaxy Explorer — пример приложения с открытым кодом, которое изначально было разработано для HoloLens в марте 2016 г. в рамках кампании Share Your Idea. В Galaxy Explorer добавлены новые возможности для HoloLens 2 с помощью MRTK v2. Прочитайте историю о создании Galaxy Explorer для HoloLens 2. Surfaces — это пример приложения с открытым кодом для HoloLens 2, которое демонстрирует, как мы можем вызвать тактильные ощущения с помощью визуализации, звуков и отслеживания свободных движений рук. Ознакомьтесь с докладом Microsoft MR Dev Days по наработкам при разработке и использовании приложения Surfaces, чтобы узнать больше о проектировании и разработке.

Видео докладов с Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Учебник по созданию простого приложения MRTK с нуля. Узнайте больше о понятиях взаимодействия и мультиплатформенных возможностях MRTK. Изучите стандартные блоки взаимодействий в MRTK, которые помогут вам создать великолепные среды смешанной реальности. Вводная информация о встроенных и внешних средствах оценки производительности для MRTK, а также стандартного шейдера MRTK.

Другие видео с докладами см. на странице Mixed Reality Dev Days.

Присоединяйтесь к сообществу

В рамках этого проекта действуют правила поведения в отношении продуктов с открытым исходным кодом Майкрософт. Дополнительные сведения см. в статье Вопросы и ответы, связанные с правилами поведения. Чтобы задать вопрос или получить комментарии, обратитесь по адресу opencode@microsoft.com.

Полезные ресурсы в Центре разработки для смешанной реальности

Знания Знания Проектирование Проектирование Разработка Разработка Дистрибуция Дистрибуция
Узнайте, как создавать взаимодействия смешанной реальности для HoloLens и иммерсивных гарнитур (виртуальная реальность). Получите руководства по проектированию. Создайте пользовательский интерфейс. Узнайте о взаимодействиях и способах ввода. Получите руководства по разработке. Узнайте о технологиях. Изучите их научную основу. Подготовка приложения для других пользователей и создание средства для запуска трехмерных приложений.

Полезные ресурсы в Azure

Пространственные привязки
Пространственные привязки
Службы распознавания речи Службы распознавания речи Службы компьютерного зрения Службы компьютерного зрения
Пространственные привязки — это кросс-платформенная служба, которая позволяет создавать взаимодействия смешанной реальности с использованием объектов, сохраняющих свое расположение на различных устройствах с течением времени. Откройте для себя и интегрируйте в свое приложение возможности обработки речи на платформе Azure, такие как преобразование речи в текст, распознавание говорящего или перевод речи. Идентифицируйте изображения или видео с помощью служб визуального распознавания с такими возможностями, как компьютерное зрение, определение лиц, распознавание эмоций или индексация видео.

Как стать соавтором

Узнайте, как принять участие в разработке MRTK.

Получение справки

Если при использовании MRTK у вас возникли проблемы или появились вопросы, вам помогут следующие ресурсы: