Mixed Reality についての考え方を変える

2016 年に Microsoft が待ち望む開発者のために HoloLens (第 1 世代) を発表したとき、チームは既に Microsoft の内外のスタジオと協力してデバイスの起動エクスペリエンスを構築していました。 これらのチームは、Mixed Reality の設計の新しいフィールドにおける機会と課題の両方を明らかにして学習しました。

これらのメソッドと洞察を、Mixed Reality Academy の新しい開発者を指導するカリキュラムに盛り込みました。 カリキュラムには、エンタープライズ パートナーに提供されている週単位のデザイン ワークショップが含まれています。

次に示すのは、エンタープライズ パートナーが Mixed Reality 開発のためにチームを準備するのを支援するために学習したすべての情報のスナップショットです。 これらの方法の多くは HoloLens 開発を対象としていましたが、3D において想像と通信は、Mixed Reality のエクスペリエンス全体にとって重要です。

デザイン プロセス中に空間的に考える

デザイン プロセスやデザイン フレームワークは、問題に幅広く取り組み、他のユーザーとアイデアを効果的に共有するために、アイデアを評価してソリューションに至るまでの考えの反復を目的としています。 現在、デスクトップ、携帯電話、タブレットでのエクスペリエンスを構築するためのデザインと開発方法について、適切に確立されています。 チームは、アイデアを反復してユーザーの製品を作り上げるために必要なことについて、明確な期待を持っています。

チームは、多くの場合、開発、デザイン、調査、および管理の組み合わせで構成されます。 すべての役割の人々が、デザイン プロセスに参加する必要があります。 モバイル アプリのためのアイデアを投稿する入口への障壁は、デバイス画面に四角形を描画するのと同じように簡単です。 一方で、UI 要素をボックスと線でスケッチする技術は、技術的な要件を確立し、可能性があるユーザーの動作を定義するのに十分です。

Mixed Reality では、従来の 2D デザイン プロセスが壊れ始めています。 3D でのスケッチは、ほとんどのユーザーにとって困難なものであり、ペンや紙やホワイトボードなどの 2D ツールを使用すると、アイデアをそれらの寸法に限定してしまうことがよくあります。 一方で、ゲームまたはエンジニアリング用に構築された 3D ツールでは、アイデアを迅速に具体化するために高度なスキルが必要になります。 軽量ツールの欠如は、基本的な対話式操作メソッドがまだ確立の途上にある、新しいデバイスに固有の技術的不確実性のために、事態をさらに複雑にします。 これらの課題のために、デザインへの寄与が 3D 開発のバックグラウンドを持つチーム メンバーのみに限定され、チームの反復能力が大幅に減少する可能性があります。

Mixed Realityアカデミーのワークショップで働くチーム
ワークショップの Mixed Reality パートナー プログラムからのチーム

外部のパートナーと協力するときは、デザイン プロセスを継続できるようになる前に、開発者がプロトタイプを完成させるのを待つ間のチームのストーリーを聞きます。 その後、チームの残りの部分は、製品の重要な進歩を妨げられる可能性がよくあります。 開発者は、技術的な実装とユーザー エクスペリエンスの両方について、大まかなアイデアをコードに入れ込もうとするときに、すべての責任を負うことになります。

デザイン プロセスを拡張するための手法

Microsoft のチームは、より効果的にチームを巻き込んで、複雑なデザインの問題をすばやく反復するための一連の手法を持っています。 正式なプロセスではありませんが、これらの手法は、ワークフローを置き換えるのではなく、補完を目的としています。 これらの方法を使用すると、特化された 3D スキルを持たないチーム メンバーは、プロトタイプの段階に入る前にアイデアを提供できます。 さまざまなロールと作業分野を、3D デザイナーだけでなく、開発者のデザイン プロセスに含めることもできます。 機会を明らかにし、発生する可能性のある課題を特定することは、開発の後半で発生する可能性があります。

設計プロセスの手法

ボディストーミングを使用してアイデアを創造する

チームが、従来の 2D デバイスの世界を超えて、現実世界で発生するイベントについて考えられるように導くことは、革新的な Mixed Reality エクスペリエンスを開発するうえで重要です。 Microsoft では、実世界の空間で物理的な小道具との対話式操作を促進することにより、最良の結果を得ることができました。 シンプルで安価な制作素材を使用して、物理的な小道具を制作し、デジタル オブジェクト、ユーザー インターフェイス、アニメーションを提案されたエクスペリエンスで表現します。 この手法はボディストーミングと呼ばれ、数十年にわたり工業デザインで製品を観念化するための重要な要素でした。

Mixed Realityアカデミーで資料を扱うチームボディストーミングで使用されるシンプルで安価なアート用品

単純で物理的な小道具は、参加者の遊び場を平準化し、さまざまなスキルセットとバックグラウンドを持つ個人が、2D 思考に縛られることなく、アイデアを提供し、Mixed Reality エクスペリエンスに固有の機会を発見できるようにします。 技術的なプロトタイプや忠実性の高いストーリーボードの作成には、スキルの高い 3D 開発者やアーティストが必要ですが、インターフェイスが物理空間にどのように展開されるかの模型を見せるには、発泡スチロールのボールやボール紙で十分な場合があります。 これらの手法は、HoloLens とイマーシブ ヘッドセットを使用した Mixed Reality 開発の両方に適用されます。 たとえば、プラスティック コネクタのセットは、HoloLens エクスペリエンスに表示されるか、仮想環境で対話型要素やモーション デザインを実現する小道具として表示されるホログラムのサイズを大まかに示すこともあります。

ボディストーミングは、アイデアをすばやく創造し、プロトタイプを作成するにはあいまいすぎるアイデアを評価するために使用される手法です。 Microsoft では、ボディストーミングは、アイデアをすばやく吟味するために最もよく使用されます。 また、Mixed Reality 開発に慣れていない場合や、広範なシナリオを抽出する必要がある場合に、より詳細なセッションをホストするのにも役立ちます。 ボディストーミングの目的は、参加者が空間的に考えられるようにすることで、迅速かつ効率的に考案することです。 この段階では、詳細なアートワークや正確な測定値は重要ではありません。 物理的な小道具は、アイデアを調査または伝達するための最小要件のみを満たせばよいだけです。 ボディストーミングを通じて提示されたアイデアは完全に吟味されるとは限りませんが、このプロセスは、デバイス内のプロトタイプの段階で、後でテストできる可能性を絞り込むのに役立ちます。 そのため、ボディストーミングは技術的なプロトタイプに代わるものではなく、プロトタイプ作成フェーズで技術的な課題とデザイン上の課題の両方を解決する負担を相殺します。

演技と専門家によるフィードバック

実世界で物理オブジェクトを使用して想像するというボディストーミングのプロセスに従って、次の手順ではこれらのオブジェクトの操作について説明します。 プロセスのこのフェーズを演技と呼びます。これには、ユーザーがエクスペリエンスまたは特定の対話式操作をどのように移動するかのステージングが含まれることが多いです。

Mixed Reality アカデミーでのワークショップ中にシナリオを実行するチーム
ワークショップ中シナリオを実演するチーム

物理的な小道具を使用して演技すると、参加者はユーザーの視点を体験しながら、外部のオブザーバーがイベントの様子を確認できます。これは、特定の 「専門家」 のフィードバックを提供できるチームメンバーやステークホルダからなる、より広いオーディエンスを取り込むための理想的な時間となります。 たとえば、病院向けに設計される複合現実エクスペリエンスを検討している場合、自分の考えを動きの形で医療従事者に提示すると、貴重なフィードバックを得られる可能性があります。 もう 1 つの例としては、空間的なオーディオや、資産の品質とパフォーマンスの比較に関する予算など、理解しようとしている特定の課題がある場合です。 このような場合、演技によって、デバイスベースのプロトタイプを使用しなくても、エクスペリエンスがどのように展開されるかの大まかな概念を専門家に手短に伝えることができます。

この種の演技は形式化されるものではなく、専門のタレントを連れてくる必要はありませんが、そこにいない人々と考えを共有したい状況において、対話の "シーン" をビデオに記録したり、ストーリーボード アーティストを含めて、要点となる瞬間を観察してスケッチしたりします。 また、ボディストーミング段階で、現場で行われることがよくある簡単な活動は、演技です。 どの方法を使用するかは、対象ユーザーと、適切な種類のフィードバックを求めるために必要な忠実度によって異なります。 最終的には、チームの思考を最も効果的にキャプチャするものになります。

ストーリーボードを使用してアイデアをキャプチャする

提案されたエクスペリエンスのアイデアと概念を伝える最良の方法は、対象ユーザーと、次の反復で必要とされるフィードバックの種類によって異なります。 チーム メンバーに新しいアイデアを提示する場合、ボディストーミングの忠実性の低い再現で、十分にメンバーをキャッチアップさせることができます。 新しい利害関係者や可能性のあるユーザーにエクスペリエンスの概念を導入する際には、多くの場合、最適な方法はストーリーボードの作成です。 ストーリーボードは、映画やビデオゲーム開発の舞台裏で使用されるエンターテインメント業界に共通の手法です。 この手法を使用すると、エクスペリエンスの全体的な流れ (低解像度) と美的なルックアンドフィール (高解像度) の両方を伝えることができます。 プロトタイプの場合と同様に、ストーリーボードの忠実性のニーズを理解することは、適切なフィードバックを収集し、非生産的な議論を回避するための鍵です。

忠実度の低いストーリーボードの例
低再現性のストーリーボードの例

低再現性のストーリーボードは、特におおまかなアイデアを伝達するときの短時間の話し合いに適しています。 これらは、シーン内の仮想要素や、対話型コンポーネント (物理と仮想の両方) を示すために、スティック図の描画やプリミティブな形状と同じくらい簡単です。 これらは、実行するのが比較的簡単で、スキルが低いことの障壁がある場合に有効ですが、ボディストーミングのレッスンを思い出してください。すべてのユーザーが、エクスペリエンスの 2D 描写を思い描き、3D への影響を理解できるわけではありません。

忠実度の高いストーリーボードの例
高再現性のストーリーボードの例

忠実度の高いストーリーボードは、新しい利害関係者を入れたり、ボディストーミング セッションからの洞察を、エクスペリエンスの提案された審美的な方向に組み合わせたりする場合に強力なツールです。 ストーリーボードは、仮想エクスペリエンスの最終的な外観を示すためのムード ボードに作り変え、最終的な製品にとって非常に重要な場合がある、要点となる瞬間をキャプチャできます。 多くの場合、忠実度の高いストーリーボードにはアーティストが必要であることに注意してください。特に、説明しにくいアイデアを捉えることができる、チーム内に深く関わっているアーティストが必要です。 Microsoft では、主にゲーム開発のバックグラウンドを持つストーリーボード アーティストを、ミーティングに参加する Mixed Reality チームに追加して、スケッチをすばやくキャプチャし、後で高忠実度のモックアップに拡張しました。 これらの個人は、技術的アーティストと密接に連携して、最終的なエクスペリエンスで使用される資産の芸術的方向性を伝えることができます。

デザイン プロセス

今日のプロセスは、ホワイト ボードと付箋から始まり、身体的なボディストームや演技にまで広がっています。 次に、プロトタイプ作成と資産の作成に移行する前に、その考え方をストーリーボードに変換し、"1 行の概念" (何を作るかを説明する概要文) と呼ぶものにまとめます。 多くの場合、開発段階に入る前のデザイン作業は、物理的な形があるものです。

設計プロセス フロー 1
全体のデザイン プロセス

デザイン プロセスは複雑であり、チームごとに異なります。 ただし、ボディストーミング、演技、ストーリーボードなどの手法を使用すると、反復での困難を軽減できます。

設計プロセス フロー 2
現実には継続的な反復フェーズ

チームのスキルを拡大する

Mixed Reality エクスペリエンスに適合するようにプロセスを変更するには、技術的およびデザイン乗の役割をより密接に結び付ける必要があります。 Microsoft のパートナーと協力して、いくつかのチームが 3D 開発に正常に移行したことを確認しました。さらに、この最大の利益は、自分の持ち場を超えて、開発プロセス全体を通じてより多く関与できるスキルを開発するチーム メンバーによって生み出されることがわかりました。メンバーのスキルは、デザインや開発に限定されるべきではありません。

フィードバックと反復は、デザインの成功のための鍵であり、Mixed Reality エクスペリエンスでは、この種のフィードバックは、特に Mixed Reality のテクノロジとツールが比較的新しいことを考えると、より技術的な概念に傾きがちです。 Unity や Unreal などのツールを使用したスキルなど、技術的な分野におけるデザイン チームのスキルを構築することで、開発者のアプローチを理解しやすくなり、プロトタイプ作成時により効果的なフィードバックを得ることができます。 同様に、Mixed Reality エクスペリエンスの基本的な UX の概念 (および潜在的な設計上の落とし穴) を開発者が理解することは、計画の初期段階で実装に関する分析情報を提供するのに役立ちます。

Mixed Reality で作業しているパートナーから、3D ツールを使用してチームとスキルセットを成長させる最善の方法について質問を受けることがよくあります。 これは、業界の状態を考えると答えにくい質問です。チームは昨日のツールを使用して明日のエクスペリエンスを構築することに直面しているためです。 多くのチームが、ここ数十年 3D 開発が主要な産物であったゲームやエンターテインメントのバックグラウンドを持つ個人を集めています。 チームは、既存のチームに Unity や 3D モデリング ソフトウェアなどのツールを選ぶよう勧めてもいます。 これらはどちらも、今日の Mixed Reality エクスペリエンスのベースラインを満たす上で不可欠なニーズですが、明日の画期的なアプリケーションの構築に役立つ、特殊なツールとスキルが数多く存在する可能性があります。

Mixed Reality デザインの分野は常に変化しており、ホログラフィック エクスペリエンスでのデータとクラウド サービスに特に重点が置かれています。 この次世代のエクスペリエンスでは、高度な自然言語処理とリアルタイムのコンピューター ビジョン、およびイマーシブ エクスペリエンス内のより本質的に社会的なシナリオを利用します。 たとえば、仮想現実のエクスペリエンスを使用すると、デザイナーは想像上の環境や空間を構築できます。従来のインターフェイス デザインではなく、アーキテクチャや文化に近いスキル セットが必要になります。 または、HoloLens を使用した現実世界での経験を検討することもできます。この場合、使用事例には、特定の環境やリアルタイム データがエクスペリエンスの重要な要素である、医療、エンジニアリング、製造などの高度に特殊な分野が含まれることが多いです。 役割をまたがって作業し、デザインと特殊な知識の両方を使用し、新しいツールを学習する意欲を持つことは、Mixed Reality で作業するチームに非常に貴重なスキルです。

チームが Mixed Reality を迅速かつ効果的に探索するのを支援する

HoloLens の初期に、デバイスの初期プロトタイプのハードウェアが、デザインのアイデアを素早く反復するための理想的な形式ではないことが判明したため、これらの手法は必要性から生まれました。 オペレーティング システムの基本的な UI を含む対話式操作方法は、ボディストーミングを使用して探索されましたが、演技は、ユーザービリティ チームが職場のシナリオの基本的なユーザー行動を理解するのに役立ちました。 最後に、チームは HoloLens コア UX の強力なベースラインを確立し、チームの役割間で概念を伝達し、OS 開発をハードウェア開発と並行して迅速に移行できるようにしました。

Mixed Realityアカデミーのワークショップ資料

ボディストーミング、演技、専門家によるレビュー、ストーリーボードなど、これらの手法は時間と労力を節約することを目的としています。 HoloLens や仮想現実の開発はまだ初期段階ですが、Mixed reality のデザイン プロセスを拡張することで、チームはアイデアを伝える上での困難を克服するのではなく、新しい、挑戦的なデザインの問題を探求することにエネルギーを費やすことができます。

ワークショップ用品のサンプル一覧

シンプルなアート用品は、高度な芸術に関するスキルなしにアイデアを説明するために必要な道具をチーム メンバーに提供します。 チームがボディストーミング中に一般的に使用する機能のサンプルを次に示します。

  • 発泡スチロールのディスク
  • 発泡スチロールのキューブ
  • 発泡スチロールのコーン
  • 発泡スチロールの球体
  • ボール紙の箱
  • 木製のダボ
  • 棒付きキャンディーのスティック
  • 厚紙
  • 紙のカップ
  • ダクト テープ
  • マスクキング テープ
  • ハサミ
  • クリップ
  • ファイル クリップ
  • ポストイット
  • ひも
  • 鉛筆
  • マーカー

次の探索チェックポイント

これで、Mixed Reality 発見の旅の重要な部分が完了しました。 業界パートナーが Mixed Reality を使用している方法を確認するHoloLens を確認する、デザインまたは開発の体験を開始できます。