ケース スタディ - HoloTour の "不可能な景色" の作成
Microsoft は、Microsoft HoloLens の HoloTour での体験が、忘れられないものにしたいと考えました。 従来の観光スポットに加えて、私たちはいくつかの "不可能な景色" を計画しました。それは、HoloLens のテクノロジによってリビング ルームで直に体感できる、どんなツアーでも体験できない数々の瞬間です。 そのような体験のためのコンテンツを作成するにあたっては、標準のキャプチャ プロセスとは異なるいくつかの技法が必要でした。
コンテンツの課題
HoloTour の体験には、現代のローマ上空の熱気球飛行、古代ローマのコロッセオで催される剣闘士の試合など、ほかでは見ることのないユニークな視点を提供する特定のシーンがあります。 これらの瞬間は、皆さんに興奮と驚きを与え、HoloTour による旅を単なる教育的な体験の枠を超えたものにしてくれるはずです。 そして、その瞬間はあなたの記憶に残り、他の人に話したくなるようなワクワクしたものになります。 上空にカメラ リグを設置する技術やタイムトラベルの技術はまだ実現していないため、これらの "不可能な景色" をそれぞれ実現するためには、コンテンツ作成のための特別なアプローチが必要でした。
バックグラウンド処理
これらのユニークな瞬間と景色の作成には、単なる撮影と編集を超えたものが必要でした。 膨大な時間、さまざまなスキルを持つ人々、そして少しばかりの "ハリウッドの魔法" が必要でした。
熱気球からローマを眺める
上空からの眺望を HoloTour で実現したいという構想は、計画の初期からありました。 上空からローマを見渡せれば、ほとんどの人がまずお目にかかれない景色を楽しめますし、さまざまな人気の史跡が空間的にどのような位置関係にあるかもわかります。 既存のカメラとマイク リグを使って自力でこれをキャプチャしようとしたら困難を極めたでしょうが、幸いにもそうする必要はありませんでした。
まず重要なことを説明したいのですが、HoloTour で訪問するすべての場所はそれ自体に動きがあります。 私たちの目標は、参加者に「本当にそこにいるように感じて」もらうことでした。実生活でどこに行っても動くものに囲まれているのと同様に、仮想の旅行先も、周りの動きが感じられるようなものにする必要がありました。 たとえば、旅行中にパンテオンを訪れると、人々が広場を歩き回り、階段のところに集まっています。 背景の動きは、演出された静的な環境ではなく、現実のその場所に立っているような感覚を与えてくれます。
気球に乗った空中からの眺めを作成するために、私たちは Microsoft の他のチームと協力して、ローマの航空写真のパノラマ画像にアクセスしました。 これらの画像は高品質で、すばらしい眺めでしたが、修正せずにシーンで使用してみると、ツアーの他の部分に比べて生気に乏しく感じられ、動きがない点が興趣を削ぎました。
ローマ上空を漂う熱気球のかご
空中の場所が他の行き先と同じ品質基準を満たすよう、動きのない写真を、生き生きとした動きのあるシーンに変換することにしました。 最初のステップは、画像を編集し、その画像に動きを合成することでした。 これを実現するために、視覚効果アーティストと契約しました。 雲がゆっくり漂い、鳥がそばを通り過ぎ、時には飛行機やヘリコプターが空中を横切る様子を示すための編集を行いました。 地上では、多くの車が通りを駆け抜けるようにしました。 この動きはどれも、HoloTour によるローマのツアー参加者にはっきりと認識されることはまずありません。 とはいえ、その効果はてきめんです。 この微妙な動きは見る人の注意を引くことを意図したものではありませんが、これらのちょっとした変化がなければ、シーンの静止画であることはすぐに気付かれてしまいます。
2 番目に行ったのは、シーンを見渡す絶景ポイントを提供することでした。 空中に浮いているだけのように見えると臨場感が得られないため、気球の 3D モデルを作成してその中に視点を配置しました。 これによって、気球の表面沿いにあちこち移動し、境界を見渡して、より良い視点を得ることができます。 私たちは、これが航空映像を体験するための自然で楽しい方法であることを理解しました。
熱気球の体験は、他に類を見ない困難をオーディオ チームに提示しました。というのも、ローマ上空の数千フィートの高度にマイクをホバリングさせるのはロジスティクス的に不可能だったからです。 幸いなことに、ポストプロダクションでは、都市全体からの環境オーディオ キャプチャをふんだんに利用することができました。 オーディオ エミッタを各々の相対的な位置に配置し、そこから、それらのエミッタを地上からキャプチャしました。 次に、熱気球に乗っている人の耳に聞こえるかのように、サウンドをフィルター処理して遠くから聞こえるようにしました。これにより、本物のようで指向性のあるサウンドスケープがシーンに提供されます。
古代ローマへのタイムトラベル
ローマ市中に残存するモニュメントや建造物は、建設から 2,000 年を経た今でも印象的ですが、私たちは、過去にさかのぼって外観を再現し、古代ローマに存在していた当時のようにこれらの建造物を鑑賞するユニークな機会を提供したいと考えました。
もちろん、建設当時のコロッセオの外観を示すビデオ映像や静止画は存在しませんので、私たちは独自のコロッセオを作成する必要がありました。 建造物についてできるだけ多くのことを学ぶために、私たちは多くの調査をする必要がありました。建築に用いられた資材を理解し、建築図を確認し、歴史的文献に目を通して、仮想レクリエーションを作成するのに十分な情報を収集する必要がありました。
現代のコロッセオ遺構。古代ローマ当時さながらにアリーナの地面を示すオーバーレイがある状態
私たちが最初にしたかったのは、ためになる情報のオーバーレイによって従来のツアーを強化することでした。 現在のコロッセオの遺構を HoloTour で訪問すると、アリーナの地面が変化し、地下の入り組んだ待機所を含め、使用されていた当時の見た目がどのようであったかを示します。 通常のツアーでは、説明文の情報をもとに想像力を働かせることしかできませんが、HoloTour では実際に見ることができます。
このようなオーバーレイについては、アーティストの視点がキャプチャ映像と一致するようにして、手作業でオーバーレイ画像を作成しました。 ビデオを画像に置き換えるときに両方がぴったり揃うよう、視点を一致させる必要があります。
剣闘士の試合の演出
オーバーレイは人々に歴史の手ほどきをする興味深い方法ですが、私たちが最も興奮を覚えたのは、参加者を過去にタイムトラベルさせることです。 オーバーレイは特定の視点からの静止画でしかありませんが、タイムトラベルのためにはコロッセオ全体をモデリングする必要があり、前述したように、シーンに動きを持たせて臨場感を出す必要がありました。 その達成には多大な労力が必要でした。
この作業は私たちのチームの手に余る大規模なものだったため、アート チームでは、ハリウッド映画の視覚効果を主に手がけている外部の効果会社 Whiskytree と協力しました。 コロッセオの往時の姿を再現するために Whiskytree の協力を得た結果、私たちは、アリーナの地面に立った状態で建造物がどのように見えるかを把握し、皇帝の特等席から剣闘士の試合を観戦した眺めを作成することができました。 歓声を上げる群衆とはためく幟は、これらが現実の場所であって単なる画像ではないという印象を与えるために必要である、微妙な動きを追加します。
アリーナの地面からの視点で再現されたコロッセオ。 HoloTour で見ると、幟がそよ風にはためいて動きを感じさせる。
ローマのツアーは剣闘士の試合でクライマックスを迎えます。 アリーナと 3D 観衆のシミュレーションをビデオにレンダリングしたものは Whiskytree から提供されましたが、アリーナの地面に剣闘士を追加するのは私たちの仕事でした。 プロセスのこの部分は、新興のゲーム スタジオのプロジェクトというよりはハリウッドのビデオ制作のようでした。 私たちのチームのメンバーは、試合の大まかな流れを考え、振付師と相談して細かい部分を決めました。 闘いを再現する俳優を雇い、その役割にふさわしい鎧を購入しました。 最後に、緑色の幕を背景にシーン全体を撮影しました。
テイク間に指示を受ける剣闘士
参加者は皇帝の特等席からこのシーンを見るので、すべての映像はその視点からのものである必要がありました。 剣闘士が試合をするアリーナの地面から撮影したところ、後で試合の流れを正しく合成できなかったため、高所のシザー リフトに撮影スタッフを乗せて、見下ろす形で試合の流れを撮影することにしました。
正しい視点を得る: シザー リフトからの撮影
ポストプロダクションで剣闘士をアリーナの地面に合成したところ、視点は正しかったのですが、1 つの問題が残っていました。それは、合成プロセスの途中で、緑色の幕に映った剣闘士の影が削除されてしまったことです。 影がなければ、剣闘士は空中に浮いているように見えてしまいます。 幸いにも、このような問題の解決は Whiskytree の得意とするところであり、ちょっとした魔法のような技術を使ってシーンに影を追加してくれました。 その結果が、いま、ツアー参加者の目に映っているものです。
著者について
 |
シニア デベロッパーの David Haley は、HoloTour との関わりを通じて、カメラ リグとビデオ再生について想像よりも多くのことを学びました。 |  |
オーディオ デザイナーの Jason Syltebo は、時空を超えて訪れるすべての場所のサウンドスケープをツアーで体験できるよう尽力しました。 |
 |
ビデオ アーティストの Danny Askew は、ツアー参加者にとってローマの旅ができる限り非の打ちどころがないものになるよう奮闘しました。 |