ケーススタディ-HoloTour の不可能なパースペクティブの作成Case study - Creating impossible perspectives for HoloTour

Microsoft HoloLens を unforgettable にするための HoloTour の経験が必要でした。We wanted your experiences in HoloTour for Microsoft HoloLens to be unforgettable. 従来の tourist の停止に加えて、私たちは、どのツアーでも経験できない "不可能なパースペクティブ" を計画しました。これは、HoloLens のテクノロジを通じて、リビングルームに直接持ち込むことができます。In addition to the traditional tourist stops, we planned out some "impossible perspectives" – moments that would be impossible to experience on any tour but which, via the technology in HoloLens, we could bring directly to your living room. これらのエクスペリエンスのためにコンテンツを作成するには、標準的なキャプチャプロセスとは異なる手法が必要です。Creating the content for these experiences required some different techniques than our standard capture process.

コンテンツチャレンジThe content challenge

HoloTour 経験には特定のシーンがあります。たとえば、現代のローマでのホットエアバルーンや、古代ローマの Colosseum での gladiatorial 戦いなどがあります。これにより、他の場所に表示されない一意のビューが提供されます。There are certain scenes in the HoloTour experience—such as the hot air balloon ride over modern-day Rome and the gladiatorial fight at the Colosseum in ancient Rome—that provide unique views you won't see anywhere else. この瞬間は、楽しみな気持ちと amaze によって、単なる教育を経験するだけでなく、HoloTour を通じて旅行を行うことを目的としています。These moments are meant to excite and amaze you, making your trip through HoloTour more than just an educational experience. これらは、覚えておく必要がある瞬間で、他のユーザーに知らせたいと思います。They are the moments we want you to remember and get excited to tell other people about. カメラのマシンを空にすることはできなかったので、タイムトラベルをまだ行っていないので、これらの "不可能なパースペクティブ" は、コンテンツを作成するための特別なアプローチと呼ばれていました。Since we couldn't take our camera rig up into the sky and we haven't (yet) mastered time travel, each of these "impossible perspectives" called for a special approach to creating content.

しくみBehind the scenes

これらの一意の瞬間とパースペクティブを作成するには、撮影と編集だけではありません。Creating these unique moments and perspectives required more than just filming and editing. 非常に多くの時間がかかっており、さまざまなスキルを持つ方が、Hollywood マジックも少しでした。It took a tremendous amount of time, people with many different skills, and a little bit of Hollywood magic.

ホットエアバルーンからのローマの表示Viewing Rome from a hot air balloon

初期の計画日から、HoloTour で航空写真ビューを行うことにしました。From our early planning days, we knew we wanted to do aerial views in HoloTour. 空のローマを見ると、ほとんどの人が見られることがなく、人気のあるランドマークが空間的に配置されることがわかります。Seeing Rome from the sky gives you a perspective that most people never get to see and a sense of how popular landmarks are spatially located. 既存のカメラとマイクのマシン群を使用してこれをキャプチャしようとすると、非常に困難になりましたが、幸運なことはありませんでした。Trying to capture this ourselves with our existing camera and microphone rig would have been tremendously difficult, but luckily we didn’t have to.

まず、HoloTour でアクセスするすべての場所に移動することを説明することが重要です。First, it's important to explain that all of the locations you visit in HoloTour have movement in them. 私たちの目標は、"私たちは本当に私たちのような感覚を持っています" ということでした。また、実際にはどこでも動きが出てきています。これは、お客様の環境の動きも伝達するために必要な仮想ターゲットです。Our goal was to make you “feel like you’re really there” and since you’re surrounded by movement everywhere you go in real life, our virtual destinations needed to convey ambient movement as well. たとえば、旅行の Pantheon にアクセスすると、通常と congregating の間に公があることがわかります。For instance, when you visit the Pantheon on your trip, you’ll see people wandering throughout the plaza and congregating on the steps. バックグラウンドの動きは、ステージングされた静的な環境ではなく、場所を実際に使用しているように感じます。The background motion helps to make you feel like you’re really standing in the location, rather than in a staged, static environment.

気球の航空写真ビューを作成するために、Microsoft の他のチームと協力して、ローマの航空写真パノラマ画像にアクセスできるようにしました。To create the aerial views for the balloon ride, we worked with other teams at Microsoft to get access to aerial panoramic imagery of Rome. これらの画像の品質は非常に優れており、ビューは美しいものでしたが、変更せずにバックグラウンドで使用した場合、lifeless はツアーの他の部分と比較して、動きが邪魔にならないと感じていました。The quality of these images was excellent and the view was stunning, but when we used them in the scenes without modification, they felt lifeless compared to the other parts of the tour and the lack of motion was distracting.

ローマに対してフリーエアバルーンバスケットを します。The hot air balloon basket, floating over Rome.
ホットエアバルーンバスケット、ローマでフローティングThe hot air balloon basket, floating over Rome

航空写真の場所が他の変換先と同じ品質基準を満たしていることを確認するために、静的な写真を生きた動きに変換することにしました。To ensure the aerial locations met the same quality bar as other destinations, we decided to transform the static photographs into living, moving scenes. 最初のステップでは、イメージと複合モーションを編集しました。The first step was to edit the image and composite motion into it. 私たちは、これを支援する視覚効果のアーティストを契約しています。We contracted a visual effects artist to help us with this. 編集が完了し、雲のません、鳥の鳥、地平線を飛ぶことのない飛行機やヘリコプターを表示するようになりました。Editing was done to show clouds slowly drifting, birds flying by, and an occasional plane or helicopter traversing the skyline. グラウンドでは、自動車の通りに車が作られました。On the ground, a number of cars were made to drive the streets. HoloTour のローマのツアーにいたとしても、このような動きを明示的に認識していることはほとんどありません。If you’ve been on the tour of Rome in HoloTour, it’s unlikely that you were explicitly aware of any of this movement. これは本当にすばらしいです。That’s actually great! 微妙な動きは目を引くことを意図したものではありませんが、これらの小さなタッチを使用しないと、シーン内の静的なイメージであることがすぐにわかります。The subtle motion isn’t meant to catch your eye, but without these little touches, people noticed immediately that it was a static image in the scene.

2番目に、シーンを表示する視点ポイントを提供しました。The second thing we did was give you a vantage point from which to view the scene. 実際には、自然な空気で浮動小数点演算が行われているように見えても、気球の3D モデルを作成してその中に配置しました。You won’t feel like you’re really there if it looks like you’re simply floating in midair, so we created a 3D model of a balloon and placed you inside of it. これにより、バルーンを見て、より優れた視点を得ることができます。This allows you to walk around the balloon and look over the edge to get a better viewpoint. 航空画像を快適に体験できるように、これは自然で楽しい方法であることがわかりました。We found this to be a natural and fun way to experience the aerial imagery.

ホットエアバルーンエクスペリエンスでは、オーディオチームに固有の課題が示されていました。これにより、飛行機はマイクを使ってローマを足するのを防ぐことができました。The hot air balloon experience presented unique challenges for our audio team, as logistics prevented us from having microphones hovering thousands of feet over Rome. さいわい、実稼働後に使用できるようになった都市全体から、大量のアンビエントオーディオキャプチャを利用できました。Luckily, we had a large amount of ambient audio capture from all over the city that we were able to use during post-production. オーディオ発信器は、どこからでも、そこから離れた場所に配置されました。We placed audio emitters at their relative locations from where they were captured from the ground. 次に、ホットエアバルーンに含まれている他のユーザーの視点から聞こえたかのように、オーディオは遠く離れた状態のサウンドにフィルターされ、シーンに対して信頼性の高い指向性 soundscape が提供されます。The audio was then filtered to sound distant, as if you were hearing it from the perspective of someone riding in the hot air balloon, providing an authentic, directional soundscape for the scene.

古代ローマへの移動時間Time traveling to ancient Rome

ローマにおけるモニュメントや建物の残りの部分は、建築の後、2000年でも素晴らしいと思いますが、私たちは、時間の前に戻ってきたように、これらの構造を実際のローマで見てきたようなものを示しています。The remnants of monuments and buildings throughout Rome are impressive even two thousand years after their construction, but we knew we had a unique opportunity to show you what it would be like to go back in time and see these structures as they appeared in ancient Rome.

当然ながら、Colosseum の作成時にはビデオ映像や静止画像が表示されないため、独自に作成する必要がありました。Naturally, there isn’t any video footage or static imagery) of the Colosseum as it appeared when it was built, so we needed to create our own. このような構造については、多くの調査を行う必要がありました。仮想再作成を可能にするために必要な情報を得るために、作成されたマテリアルを理解し、アーキテクチャ図を確認し、履歴の説明を読みます。We had to do a lot of research to learn as much about the structure as we could; understanding the materials it was made from, reviewing architectural diagrams, and reading historical descriptions to get enough information to be able to make a virtual recreation.

Colosseum の最新の日の廃墟を します。これは、古代ローマで見たように、のフロアフロアを示すオーバーレイを備えています。The modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome.
古代ローマで見たように、Colosseum の最新の日の廃墟には、その分野を示すオーバーレイがあります。The modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome

まず、教育オーバーレイを使用して従来のツアーを強化したいと考えていました。The first thing we wanted to do was enhance traditional tours with educational overlays. HoloTour では、現在の Colosseum の廃墟にアクセスするときに、複雑な地下のステージング領域を含め、使用中にどのように表示されるかを示すために、領域フロアが変換されます。In HoloTour when you visit the ruins of the Colosseum as it stands today, the arena floor is transformed to show you how it would have looked during use, including the elaborate underground staging areas. 通常のツアーでは、この情報が説明されている場合がありますが、想像してみてください。しかし、HoloTour では実際に見ることができます。On a normal tour you might have this information described to you and you could try to imagine it, but in HoloTour you can actually see it.

このようなオーバーレイについては、アーティストがキャプチャ映像の視点に一致し、手動でオーバーレイイメージを作成しています。For an overlay like this we had our artists match the viewpoint of our capture footage and create the overlay image by hand. ビデオをイメージに置き換えると、両方が適切にアラインされるように、パースペクティブが一致している必要があります。The perspective needs to match so that when we replace the video with our image both will align properly.

Gladiator 戦いのステージングStaging the gladiator fight

オーバーレイを使用すると、履歴についてユーザーを教えることができますが、最も興奮していたのは時間が戻ってきたということです。While overlays are an engaging way to teach people about history, what we were most excited about was transporting you back in time. オーバーレイは特定の視点からの静止画像にすぎませんが、時間の移動には Colosseum 全体をモデル化する必要があります。前述のように、シーンで動作させる必要がありました。The overlay was just a still image from a particular viewpoint, but time traveling would require the entire Colosseum to be modeled, and, as discussed above, we needed to have motion in the scene to make it feel alive. これを実現するには、かなりの労力がかかっています。Achieving that took a considerable amount of effort.

この作業は、チームにとっては大きすぎて実行できませんでした。私たちの芸術チームは、通常、Hollywood 映画の視覚効果を発揮する外部の影響会社である Whiskytree を使用しました。This undertaking was too large for our team to do alone, so our art team worked with Whiskytree, an external effects company that typically works on visual effects for Hollywood movies. Whiskytree は、Colosseum を heyday に再作成するのに役立ちました。これにより、その構造について説明し、その中でも、皇帝の箱から gladiator 戦いのビューを作成できるようになりました。Whiskytree helped us recreate the Colosseum in its heyday, allowing us to teach you about the structure while standing on the arena floor and to create a view of a gladiator fight from the emperor’s box. 声援 crowds とは、画像だけでなく実際の場所であるようにするために必要な微妙な動きを追加します。The cheering crowds and waving banners add the subtle motion necessary to make it feel like these are real places and not just images.

Colosseum のフロアから見たように、再作成されたを します。The recreated Colosseum as seen from the arena floor. HoloTour で見ると、バナーは簡単に見えて、動きが見やすくなります。When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.
Colosseum のフロアから見たように、再作成された。HoloTour で見ると、バナーは簡単に見えて、動きが見やすくなります。The recreated Colosseum as seen from the arena floor. When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.

Gladiator 戦いでのローマ culminates のツアー。The tour of Rome culminates with the gladiator fight. Whiskytree はビデオとしてレンダリングされた [gladiators] と [3D] の各シミュレーションを提供しましたが、それを追加する必要がありました。Whiskytree provided us with the arena and 3D crowd simulations rendered as video, but we needed to add in the gladiators on the arena floor. プロセスのこの部分は、育成 game studio のプロジェクトと比べて、Hollywood ビデオ制作のようなものです。This part of our process looked more like a Hollywood video production than a project from an incubation game studio. 私たちのチームのメンバーは、大まかな戦いのシーケンスをマップし、choreographer で改良しています。Members of our team mapped out a rough fight sequence and then refined it with a choreographer. 私たちは、モックの戦いと購入した防御力をステージするためにアクターを採用しています。We hired actors to stage our mock battle and purchased armor so they would look the part. 最後に、シーン全体を緑色の画面に客席します。Finally, we filmed the whole scene against a green screen.

gladiators を 、の手順を取得します。Our gladiators, getting instructions between takes.
私たちの gladiatiors、手順の取得Our gladiatiors, getting instructions between takes

このシーンを使用すると、皇帝の箱が表示されます。これは、すべての映像がその観点から必要であるということを意味します。This scene places you in the Emperor’s box, which meant that all the footage needed to be from that perspective. 私たちは、gladiators が客席にいる場所から、戦いの流れを適切に合成することはできませんでした。そのため、カメラのオペレータを非常に高度なシザーリフトにし、撮影の戦いシーケンスを見ていきます。If we filmed from where the gladiators were fighting on the arena floor, we wouldn't have been able to correctly composite the fight sequence in later, so we put our camera operator up in a very tall scissor lift, looking down on the fight sequence for filming.

撮影を適切に取得するには、シザーリフトからします。 Getting the right perspective: filming from a scissor lift.
適切なパースペクティブの取得: シザーリフトからの撮影Getting the right perspective: filming from a scissor lift

実稼働後、gladiators は領域フロアに合成されていますが、パースペクティブは正しいのですが、1つの問題が残っています。複合プロセスの一環として、緑色の画面の gladiators の影が削除されました。In post-production, the gladiators were composited onto the arena floor and the perspective was correct, but one issue remained: the shadows of the gladiators on the green screen were removed as part of the compositing process. シャドウを使用しない場合、gladiators は空気で浮動のように見えました。Without shadows, it looked like the gladiators were floating in the air. 幸運にも、Whiskytree はこのような問題を解決するのに非常に優れており、少しの技術 wizardry を使って、シーンに影を追加していました。Luckily, Whiskytree is great at solving just this kind of problem and they used a bit of technical wizardry to add shadows back into our scene. このツアーでは、結果が表示されます。The result is what you see in the tour today.

作成者についてAbout the authors

David Haley David Haleyは、HoloTour での作業によって可能であると考えられるカメラのマシンとビデオの再生について詳しく学習したシニア開発者です。David Haley is a Senior Developer who learned more about camera rigs and video playback than he thought possible from working on HoloTour. Jason Syltebo Jason Sylteboは、時間が戻った場合でも、アクセスするすべての宛先の soundscape を体験できるようにするオーディオデザイナーです。Jason Syltebo is an Audio Designer who made sure you could experience the soundscape of every destination you visit, even when you go back in time.
Danny Askew Danny Askewは、ローマの旅をできるだけ完璧にしたビデオアーティストです。Danny Askew is a Video Artist who made sure your journey through Rome was as flawless as possible.

参照See also