案例研究 - 使用适用于 HoloLens 的空间布局和 UX 草绘应用 HoloSketch 生成体验

HoloSketch 是适用于 HoloLens 的设备上空间布局和 UX 草绘工具,可帮助生成全息体验。 HoloSketch 与配对的蓝牙键盘和鼠标以及手势和语音命令配合工作。 HoloSketch 旨在提供一个简单的 UX 布局工具来实现快速可视化和迭代。

HoloSketch: A spatial layout and UX sketching app for HoloLens.
HoloSketch:适用于 HoloLens 的空间布局和 UX 草绘应用

A simple UX layout tool for quick visualization and iteration.
用于实现快速可视化和迭代的简单 UX 布局工具

功能

用于快速研究和比例原型制作的基元

Using primitive shapes

使用基元形状快速进行体量研究和比例原型制作。

通过 OneDrive 导入对象

importing objects

通过 OneDrive 将 PNG/JPG 图像或 3D FBX 对象(需要在 Unity 中打包)导入混合现实空间。

操控对象

manipulating objects

使用熟悉的 3D 对象接口操控对象(移动/旋转/缩放)。

蓝牙、鼠标/键盘、手势和语音命令

supports Bluetooth

HoloSketch 支持蓝牙鼠标/键盘、手势和语音命令。

背景

在设备中体验设计的重要性

为 HoloLens 设计内容时,在设备中体验设计非常重要。 混合现实应用设计的最大挑战之一是很难获得比例、位置和深度感,尤其是在传统的 2D 草图中。

基于 2D 的通信成本

为了有效地向他人传达 UX 流程和场景,设计师最终可能会花费大量时间使用 Illustrator、Photoshop 和 PowerPoint 等传统 2D 工具来创建资产。 对于这些 2D 设计,通常需要付出额外的工作才能将其转换为 3D。 在从 2D 转换为 3D 过程中,某些创意会丢失。

复杂的部署过程

由于混合现实对我们而言就是一张新画布,它在性质上涉及大量的设计迭代和试错。 对于不熟悉 Unity 和 Visual Studio 等工具的设计师来说,在 HoloLens 中组合内容并不容易。 通常,必须完成以下过程才能在设备中看到 2D/3D 图稿。 这对于想要快速迭代创意和场景的设计师来说是一个很大的障碍。

Complex deployment process
部署过程

使用 HoloSketch 简化过程

我们希望借助 HoloSketch,在不涉及开发工具和设备门户配对的情况下简化此过程。 使用 OneDrive,用户可以轻松地将 2D/3D 资产放入 HoloLens。

Simplified process with HoloSketch
使用 HoloSketch 简化过程

鼓励三维设计思维和解决方案

我们认为,此工具会让设计师有机会在真正的三维空间中探索解决方案,而不会受困于 2D 中。 他们不必考虑为 UI 创建 3D 背景,因为在 HoloLens 中,背景就是现实世界。 HoloSketch 为设计师开辟了在 HoloLens 上轻松探索 3D 设计的途径。

开始使用

如何将 2D 图像 (JPG/PNG) 导入 HoloSketch

  • 将 JPG/PNG 图像上传到 OneDrive 文件夹“Documents/HoloSketch”。
  • 从 HoloSketch 的 OneDrive 菜单中,可以选择图像并将其放入环境中。

Importing 2D images
通过 OneDrive 导入图像和 3D 对象

如何将 3D 对象导入 HoloSketch

在上传到 OneDrive 文件夹之前,请按照以下步骤将 3D 对象打包到 Unity 资产捆绑包中。 使用此过程可以从 Maya、Cinema 4D 和 Microsoft Paint 3D 等 3D 软件导入 FBX/OBJ 文件。

重要

目前,Unity 版本 5.4.5f1 支持创建资产捆绑包。

  1. 下载并打开 Unity 项目“AssetBunlder_Unity”。 此 Unity 项目包含用于生成捆绑资产的脚本。

  2. 创建一个新的 GameObject。

  3. 基于内容将该 GameObject 命名。

  4. 在“检查器”面板中,单击“添加组件”并添加“盒碰撞体”。

    In the Inspector panel, click ‘Add Component’ and add ‘Box Collider’

    In the Inspector panel, click ‘Add Component’ and add ‘Box Collider’ #2

  5. 通过将 3D FBX 文件拖放到项目面板来导入该文件。

  6. 将对象拖放到“层次结构”面板中的新 GameObject 下

    Drag the object into the Hierarchy panel under your new GameObject

  7. 如果碰撞体维度与对象不匹配,请调整维度。 旋转对象,使其面向 Z 轴

    Adjust collider dimension if it does not match the object.

  8. 将对象从“层次结构”面板拖放到“项目”面板,将其设为预制件

  9. 在“检查器”面板的底部,单击下拉菜单,然后创建并分配新的唯一名称。 以下示例演示如何添加和分配“brownchair”作为 AssetBundle 名称。

    On the bottom of the inspector panel, click the dropdown and assign a new unique name.

  10. 为模型对象准备缩略图。 Drag an image into the project panel and assign the name used for the object.

  11. 在 Unity 项目的“Asset”文件夹下创建名为“Assetbundles”的文件夹。

  12. 从“资产”菜单中,选择“生成 AssetBundles”以生成文件。 From the Assets menu, select ‘Build AssetBundles’ to generate file.

  13. 将生成的文件上传到 OneDrive 上的 /Files/Documents/HoloSketch 文件夹。 请仅上传 asset_unique_name 文件。 无需上传清单文件或 AssetBundles 文件。
    Add files to Files/Documents/HoloSketch/ folderYou will see added 3D object in HoloSketch's OneDrive menu

如何操控对象

HoloSketch 支持 3D 软件中广泛使用的传统接口。 可以使用手势与鼠标来移动、旋转和缩放对象。 可以使用语音或键盘在不同的模式之间快速切换。

对象操控模式

How to manipulate the objects
如何操控对象

上下文菜单和工具带菜单

使用上下文菜单

隔空敲击两下可打开上下文菜单。

菜单项:

  • 表面布局:这是一个 3D 网格系统,可在其中布局多个对象并将其作为一个组进行管理。 隔空敲击两下“表面布局”可在其中添加对象。
  • 基元:使用立方体、球体、圆柱体和圆锥体进行体量研究
  • OneDrive:打开 OneDrive 菜单以导入对象
  • 帮助:显示帮助屏幕

Contextual menu
上下文菜单

使用工具带菜单

可以通过工具带菜单移动、旋转、缩放、保存和加载场景。

使用键盘、手势和语音命令

Keyboard, Gestures and Voice Commands
键盘、手势和语音命令

下载应用

HoloSketch app icon 从 Microsoft Store 免费下载并安装 HoloSketch 应用

已知问题

  • 目前,Unity 版本 5.4.5f1 支持创建资产捆绑包
  • 根据 OneDrive 中的数据量,应用可能会在加载 OneDrive 内容时呈停止状态
  • 目前,保存和加载功能仅支持基元对象
  • 文本、音效、视频和照片菜单在上下文菜单中已禁用
  • 工具带菜单中的“播放”按钮会清除操控调节器

分享草图

可以说出“你好小娜,请开始/停止录制”来使用 HoloLens 中的视频录制功能。 同时按下音量增大/减小键可拍摄草图照片。

关于作者

Picture of Patrick Sebring
Picture of Dong Yoon Park Yoon Park
UX Designer @Microsoft
Patrick Sebring
Microsoft 开发人员