Пример. Создание HoloSketch, пространственного макета и приложения для создания эскизов пользовательского интерфейса для HoloLens
HoloSketch — это инструмент пространственного макета на устройстве и набросков пользовательского интерфейса для HoloLens, помогающий создавать голографические возможности. HoloSketch работает с сопряженной клавиатурой и мышью Bluetooth, а также жестами и голосовыми командами. HoloSketch предназначен для предоставления простого средства макета пользовательского интерфейса для быстрой визуализации и итерации.
HoloSketch: пространственный макет и приложение для создания эскизов по пользовательскому интерфейсу для HoloLens
Простой инструмент макета пользовательского интерфейса для быстрой визуализации и итерации
Компоненты
Примитивы для быстрого изучения и создания прототипов на основе масштабирования
Используйте примитивные фигуры для быстрого исследования массирования и создания прототипов на основе масштаба.
Импорт объектов через OneDrive
Импортируйте изображения PNG/JPG или трехмерные объекты FBX (требует упаковки в Unity) в пространство смешанной реальности с помощью OneDrive.
Управление объектами
Работа с объектами (перемещение, поворот и масштабирование) с помощью знакомого интерфейса трехмерных объектов.
Bluetooth, мышь и клавиатура, жесты и голосовые команды
HoloSketch поддерживает мышь и клавиатуру Bluetooth, жесты и голосовые команды.
Историческая справка
Важность использования дизайна на устройстве
Когда вы разрабатываете что-то для HoloLens, важно испытать свой дизайн на устройстве. Одна из самых больших проблем в проектировании приложений смешанной реальности заключается в том, что трудно получить представление о масштабе, положении и глубине, особенно с помощью традиционных двухD-эскизов.
Стоимость 2D-связи
Чтобы эффективно взаимодействовать с потоками и сценариями взаимодействия с пользователем, дизайнер может потратить много времени на создание ресурсов с помощью традиционных двухмерных инструментов, таких как Illustrator, Photoshop и PowerPoint. Эти двухD-проекты часто требуют дополнительных усилий, чтобы преобразовать их в трехмерные. Некоторые идеи теряются в этом переводе из 2D в 3D.
Сложный процесс развертывания
Поскольку смешанная реальность для нас является новым холстом, она включает в себя много итерации дизайна, а также проб и ошибок по своей природе. Для разработчиков, которые не знакомы с такими инструментами, как Unity и Visual Studio, сложно собрать что-то в HoloLens. Как правило, вам нужно пройти процедуру ниже, чтобы увидеть свои 2D/3D изображения на устройстве. Это было большим препятствием для дизайнеров, быстро выполняющих итерацию по идеям и сценариям.
Процесс развертывания
Упрощенный процесс с помощью HoloSketch
С помощью HoloSketch мы хотели упростить этот процесс без использования средств разработки и связывания портала устройств. С помощью OneDrive пользователи могут легко поместить двух-или трехмерные ресурсы в HoloLens.
Упрощенный процесс с помощью HoloSketch
Поощрение трехмерного дизайнерского мышления и решений
Мы думали, что этот инструмент даст дизайнерам возможность исследовать решения в действительно трехмерном пространстве, а не застрять в двухмерном. Им не нужно думать о создании трехмерного фона для пользовательского интерфейса, так как фон — это реальный мир в случае HoloLens. HoloSketch открывает дизайнерам возможность легко изучать трехмерный дизайн на HoloLens.
Начало работы
Импорт двухd изображений (JPG/PNG) в HoloSketch
- Отправьте изображения JPG/PNG в папку OneDrive Documents/HoloSketch.
- В меню OneDrive в HoloSketch вы сможете выбрать и поместить изображение в среду.
Импорт изображений и трехмерных объектов через OneDrive
Импорт трехмерных объектов в HoloSketch
Перед отправкой в папку OneDrive выполните следующие действия, чтобы упаковать трехмерные объекты в пакет ресурсов Unity. С помощью этого процесса можно импортировать FBX/OBJ-файлы из трехмерного программного обеспечения, такого как Maya, Cinema 4D и Microsoft Paint 3D.
Важно!
В настоящее время создание пакета ресурсов поддерживается в Unity версии 5.4.5f1.
Скачайте и откройте проект Unity "AssetBunlder_Unity". Этот проект Unity включает скрипт для создания ресурса пакета.
Создайте gameObject.
Назовите GameObject на основе содержимого.
На панели Инспектор щелкните "Добавить компонент" и добавьте "Box Collider".
Импортируйте трехмерный FBX-файл, перетащив его на панель проекта.
Перетащите объект на панель Иерархия под новым GameObject.
Настройте измерение коллайдера, если оно не соответствует объекту . Поверните объект в сторону оси Z.
Перетащите объект с панели Иерархия на панель Проект, чтобы сделать его готовым.
В нижней части панели инспектора щелкните раскрывающийся список, создайте и назначьте новое уникальное имя. Ниже показано добавление и назначение brownchair для имени AssetBundle.
Подготовка эскиза для объекта модели.
Создайте папку с именем Assetbundles в папке Asset проекта Unity.
В меню Активы выберите "Сборка AssetBundles", чтобы создать файл.
Отправьте созданный файл в папку /Files/Documents/HoloSketch в OneDrive. Отправьте только файл asset_unique_name. Вам не нужно отправлять файлы манифеста или файл AssetBundles.
Управление объектами
HoloSketch поддерживает традиционный интерфейс, который широко используется в трехмерном программном обеспечении. Вы можете использовать перемещение, поворот, масштабирование объектов с помощью жестов и мыши. Вы можете быстро переключаться между различными режимами с помощью голоса или клавиатуры.
Режимы обработки объектов
Управление объектами
Контекстное меню и меню пояса инструментов
Использование контекстного меню
Дважды коснитесь экрана, чтобы открыть контекстное меню.
Пункты меню:
- Поверхность макета: Это система трехмерной сетки, в которой можно макетировать несколько объектов и управлять ими как группой. Дважды коснитесь поверхности макета, чтобы добавить в нее объекты.
- Примитивы: Используйте кубики, шары, цилиндры и конусы для исследования массирования.
- Onedrive: Откройте меню OneDrive для импорта объектов.
- Справка: Отображает экран справки.
Контекстное меню
Использование меню "Ремень инструментов"
Перемещение, поворот, масштабирование, сохранение и загрузка сцены доступны в меню ремня инструментов.
Использование клавиатуры, жестов и голосовых команд
Клавиатура, жесты и голосовые команды
Загрузите приложение
|
Скачайте и установите приложение HoloSketch бесплатно из Microsoft Store |
Известные проблемы
- В настоящее время создание пакета ресурсов поддерживается в Unity версии 5.4.5f1.
- В зависимости от объема данных в OneDrive приложение может выглядеть так, как если бы оно остановилось при загрузке содержимого OneDrive.
- В настоящее время функция сохранения и загрузки поддерживает только примитивные объекты.
- Меню "Текст", "Звук", "Видео" и "Фотография" отключены в контекстном меню.
- Кнопка "Воспроизвести" в меню "Пояс инструмента" очищает манипуляции.
Предоставление общего доступа к эскизам
Вы можете использовать функцию записи видео в HoloLens, сказав "Привет, Кортана, запуск и остановка записи". Чтобы сфотографировать эскиз, нажмите клавишу увеличения и уменьшения громкости.
Об авторах
 |
Парк Юн UX Designer @Microsoft |
| Патрик Себринг @Microsoft для разработчиков |