ケース スタディ - HoloLens 設計チームでの最初の年

2D の平面世界から 3D の世界への私の旅は、2016 年 1 月に HoloLens 設計チームに配属されたときに始まりました。 チームに加わる前は、3D 設計の経験はほとんどありませんでした。 まるで、千里の道も 1 歩から、という中国のことわざのようですが、私の場合の第 1 歩は「飛び込むこと」だったという点は違いました。

2D から 3D に飛び込む

"車の運転の仕方がわからないのに運転席に跳び乗ってしまったように感じました。 圧倒されて怖かったのですが、それでもとても集中していました。"
— Hae Jin Lee

この 1 年で、私にできる限り早くにスキルと知識を習得してきましたが、学ぶべきことはまだ沢山あります。 ここでは、2D から 3D インタラクション デザイナーへの私の変遷を記した 4 つの見解をビデオ チュートリアルを付けて詳しく記載しました。 私の経験が、他のデザイナーの 3D への飛躍を導くきっかけになることを願っています。

フレームから 空間/ダイエジェティック UI へ

ポスター、雑誌、Web サイト、またはアプリ画面を設計する場合は必ず、定義済みのフレーム (通常は四角形) がすべての問題に常に存在していました。 あなたは、この投稿を HoloLens や他の VR デバイスで読んでいない限り、フレーム内で安全に保護された 2D の画面を通して "外部からこれを見ています"。 コンテンツは皆さんにとって外部のものです。 しかし、Mixed Reality ヘッドセットを使用する場合は "フレームがなくなります"。そのため、コンテンツの空間内にいて、内側から外側へとコンテンツを見て、通り抜けます。

私はこれを概念的には解釈していましたが、最初は 2D の考え方を 3D 空間に単純に移すというミスをしました。 そのやり方は明らかに通用しませんでした。3D 空間には、(ユーザーの頭の動きに基づく) ビューの変化など、独自のユニークな特性と、(デバイスとそれを使用する人の特性に基づく) ユーザーの快適さのための異なる要件があるためです。 たとえば、2D の UI 設計空間では、UI 要素を画面の隅にロックするのは非常に一般的なパターンですが、MR/VR エクスペリエンスでは、この HUD (ヘッド アップ ディスプレイ) スタイルの UI は、自然には感じられません。ユーザーがその空間に没頭できなくなり、ユーザーに不快感を与える原因になります。 まるで、眼鏡に厄介なほこりが付いていて、それを取り除くために必死になっているような感じです。 時間がたつにつれ、コンテンツを 3D 空間に配置し、コンテンツが、ユーザーに相対的に一定の距離をとりにながら後を追うようにするボディロック動作を追加すると、より自然に感じられることがわかりました。

ボディロック

ワールドロック

Fragments: 最適なダイエジェティック UI の例

Fragments は、Asobo Studio によって開発された、HoloLens 向けの一人称犯罪スリラーであり、最適なダイエジェティック UI を示しています。 このゲームでユーザーは、謎の解明を試みるメイン キャラクターの探偵になります。 この謎を解くための極めて重要な手掛かりがユーザーの実際の部屋に散らばっていて、多くの場合、そのままの形で存在しているのではなく、架空の物の中に埋め込まれています。 このダイエジェティック UI は、ボディロック UI より見つけにくい傾向があるため、Asobo チームは、仮想キャラクターの視線の方向、音、光、ガイド (手掛かりの場所を指す矢印など) を含む多くの手掛かりをうまく使ってユーザーの注意を引き付けています。

Fragments - ダイエジェティック UI の例

ダイエジェティック UI に関する見解

空間 UI (ボディロックとワールドロック) とダイエジェティック UI にはそれぞれ独自の長所と短所があります。 デザイナーは、できるだけ多くの MR/VR アプリを試し、さまざまな UI の配置方法に関して独自の解釈と感性を育てることをお勧めします。

スキュアモーフィズムと魔法のような対話式操作の復活

スキュアモーフィズム (実際の物体の形状を模倣するデジタル インターフェイス) は、過去 5 年から 7 年の間、デザイン業界では "クールではない" とされてきました。 Apple が最終的に iOS 7 でフラット デザインに移行したとき、スキュアモーフィズムはインターフェイス デザインの手法として廃れてしまったと思われました。 しかし、その後、新しいメディアである MR/VR ヘッドセットが市場に現れたところ、スキュアモーフィズムが再び戻ってきたようです。 : )

Job Simulator: スキュアモーフィック VR デザインの例

Job Simulator は、Owlchemy Labs によって開発された風変わりなゲームであり、スキュアモーフィック VR デザインの最も一般的な例の 1 つです。 このゲーム内では、プレーヤーが未来にトランスポートされます。そこではロボットが人間に取って代わっていて、人間は博物館を訪れ、自動車整備士、グルメ シェフ、店員、オフィス ワーカーというの 4 つの職業のいずれで、日常的な仕事を体験します。

スキュアモーフィズムの利点は明確です。 このゲーム内のなじみのある環境や物により、新しい VR ユーザーは仮想空間内でより快適に感じ、存在することができます。 また、なじみのある知識や動作を物体とそれに対応する物理的な反応に関連付けて、自分がコントロールしているように感じさせます。 たとえば、1 杯のコーヒーを飲む場合、人々は現実の世界で行うのと同様に、単純にコーヒー マシンに歩いて行き、ボタンを押し、カップの取っ手をつかんで自分の口の方に傾ける必要があります。

Job Simulator

MR/VR はまだ開発中のメディアであるため、MR/VR テクノロジをわかりやすく説明し、世界中のより多くのユーザーに紹介するには、ある程度のスキュアモーフィズムの使用が求められます。 さらに、スキュアモーフィズムや現実的な表現の使用は、外科手術やフライト シミュレーションなど、特定の種類のアプリケーションに役立つ可能性があります。 これらのアプリの目的は現実世界に直接適用できる特定のスキルを育成して改善することであるため、シミュレーションが現実世界に近いほど、知識をより転用しやすくなります。

スキュアモーフィズムは 1 つのアプローチにすぎないことを覚えておいてください。 MR/VR の世界の可能性はそれよりもはるかに大きく、デザイナーは魔法のような超自然の対話 (MR/VR の世界で独自に可能となる新しいアフォーダンス) の作成に努力する必要があります。 まず、通常の物体に魔法の力を加えて、ユーザーがテレポーテーションや全知などの根源的な欲求を満たせるようにします。

ドラえもん魔法のドア (左) とルビーの靴 (右)

VR でのスキュアモーフィズムに関する見解

ドラえもんの "どこでもドア" から、オズの魔法使いの "ルビーの靴"、ハリー ポッターの "忍びの地図" まで、有名なフィクションの中に、身近な物が魔法の力を持っている例があります。 これらの魔法の物体は、現実世界と空想世界の間、つまり「現状」と「可能性」の間のつながりを視覚化するのに役立ちます。 魔法または非現実の物体を設計する場合、機能性とエンターテインメントのバランスを取る必要がある点にご注意ください。 目新しさを求めて純粋に魔法でしかないものを作成したいという誘惑にも気を付けましょう。

さまざまな入力方法について

私が 2D メディア向けに設計していたときは、入力用のタッチ、マウス、キーボードの操作に重点をおく必要がありました。 MR/VR 設計空間では、私たちの身体がインターフェイスになり、ユーザーは、仮想オブジェクトとのより直感的で直接的なつながりを提供する、音声、視線入力、ジェスチャ、6 DoF コントローラー、グローブなど、さまざまな入力方法を使うことができます。

HoloLens で使用できる入力

"すべては何かにとって最高で、別の何かにとっては最悪である。"
— Bill Buxton

たとえば、HMD デバイスで素手とカメラ センサーを使用するジェスチャ入力では、ユーザーの両手が、コントローラーを持ったり、汗をかくグローブを装着したりすることからから解放されますが、頻繁に使用すると肉体的な疲れを引き起こすおそれがあります (別名: ゴリラ アーム)。 また、ユーザーは自分の手を視野の中に入れておく必要があります。手がカメラに写らないと、手を使用できません。

音声入力は、入れ子になったメニューを 1 つのコマンド (例: Laika Studio で作成したムービーを表示する) で切り取り、他のモダリティと組み合わせて使用すると非常に経済的であるため、複雑なタスクの走査に適しています (例: "Face me" コマンドは、ユーザーが見ているホログラムをユーザーに向けます)。 ただし、音声入力は雑音の多い環境ではうまく機能しないおそれがあり、非常に静かな空間でも適切でない場合があります。

ジェスチャと音声に加えて、手持ち型の追跡コントローラー (Oculus タッチ、Vive など) は、使いやすく、正確で、人々の 傾向を活用し、受動的なハプティクスの手掛かりを提供するため、非常に一般的な入力方法です。しかし、これらの利点は、素手にならず、完全な指の追跡を使用することができないというコストがかかります。

Senso (左) および Manus VR (右)

コントローラーほど人気はありませんが、MR/VR の波が来たおかげで、グローブの勢いが再び増しています。 ごく最近では、脳/マインド入力が仮想環境用のインターフェイスとして人気が出始めています。この場合、EEG または EMG センサーをヘッドセットに統合します (MindMaze VR など)。

入力方法に関する見解

これらは、MR/VR の市場で入手できる入力デバイスの例です。 これらは、業界が成熟し、ベスト プラクティスについて合意するまで増え続けていくでしょう。 それまで、デザイナーは常に新しい入力デバイスを把握し、特定のプロジェクト用の特定の入力方法に精通している必要があります。 デザイナーは、制限の範囲内でクリエイティブなソリューションを探す一方で、デバイスの長所を利用することも必要です。

シーンをスケッチしてヘッドセットでテストする

私が 2D で作業していた頃、ほとんどの時間、コンテンツだけをスケッチしていました。 しかし、Mixed Reality 空間の場合、それでは不十分でした。 ユーザーと仮想オブジェクトの関係をより的確に想像するために、シーン全体をスケッチする必要がありました。 空間的な思考ができるように、Cinema 4D でシーンをスケッチし始め、Maya でプロトタイプ作成用の単純なアセットを作成することもありました。 どちらのプログラムも HoloLens チームに参加する前は使用したことがなく、いまだに不慣れですが、これらの 3D プログラムを使用することで、シェーダーや IK (インバース キネマティクス) といった新しい用語に慣れることができました。

"3D でどれだけシーンを綿密にスケッチしても、ヘッドセットを付けて実際に体験することはスケッチとは大きく異なります。 ターゲット ヘッドセットでシーンをテストすることが重要なのは、そのためです。" — Hae Jin Lee

HoloLens のプロトタイプを作成するために、Mixed Reality チュートリアルのすべてのチュートリアルを試すことから始めました。 次に、ホログラフィック アプリケーションの開発を加速するために Microsoft が開発者に提供している HoloToolkit.Unity を使い始めました。 何かに行き詰まったら、 HoloLens 質問 & 回答フォーラムに質問を投稿しました。

HoloLens プロトタイプ作成に関する基本的な解釈を得た後は、他のコーダーではない人が自身のプロトタイプを作成できるようにしたいと考えました。 そのため、HoloLens を使用して簡単な発射物を開発する方法を説明するビデオ チュートリアルを作成しました。 基本的な概念について簡単に説明しているので、HoloLens の開発に経験がない場合でも、作業を進めることができます。

私自身のような、プログラマー以外の方のためにこのシンプルなチュートリアルを作成しました。

VR のプロトタイプを作成するために、VR 開発スクールの講座を受講し、さらに Lynda.com の「仮想現実向けの 3D コンテンツ作成」も受講しました。 VR 開発スクールでは、コーディングに関する詳しい知識を得ることができました。Lynda の講座では、VR 用のアセットを作成するための簡単な概要を提供してくれました。

思い切って飛び込む

1 年前の私は、ここに書いたことに少し圧倒されていました。 今は、その努力が 100% 価値のあるものだったと言うことができます。 MR/VR は依然として非常に未成熟なメディアですが、実現が待たれている多くの興味深い可能性があります。 未来をデザインする中でささやかな役割が果たせることに、気持ちが高ぶり、幸せにも感じています。 皆さんも、3D 空間への旅に是非参加してください。

筆者について

Hae Jin Lee Microsoft、UX デザイナー