導入事例 - HoloTour のあり得ないパースペクティブの作成Case study - Creating impossible perspectives for HoloTour

Forgettable する Microsoft HoloLens の HoloTour でお客様のエクスペリエンスと考えました。We wanted your experiences in HoloTour for Microsoft HoloLens to be unforgettable. だけでなく、従来の観光が停止の企画一部「不可能なパースペクティブ」– アウトすることはできません、ツアーを体験するが、HoloLens のテクノロジを使用して、居間に直接備えられていますが、これまでに時間。In addition to the traditional tourist stops, we planned out some "impossible perspectives" – moments that would be impossible to experience on any tour but which, via the technology in HoloLens, we could bring directly to your living room. これらのエクスペリエンスのコンテンツを作成するには、当社の標準的なキャプチャ プロセスよりもいくつかのさまざまな手法が必要です。Creating the content for these experiences required some different techniques than our standard capture process.

コンテンツの課題The content challenge

HoloTour エクスペリエンスに特定のシーンが —、バルーンは現代風のローマと gladiatorial 戦い古代ローマ Colosseum に乗るなど、任意の場所に表示されなくなります固有のビューを提供します。There are certain scenes in the HoloTour experience—such as the hot air balloon ride over modern-day Rome and the gladiatorial fight at the Colosseum in ancient Rome—that provide unique views you won't see anywhere else. こうした瞬間はエキサイティングし、あげる HoloTour 単教育エクスペリエンスを通じて、旅行を作成するものです。These moments are meant to excite and amaze you, making your trip through HoloTour more than just an educational experience. ときに注意してくださいし、に関する他のユーザーの入力に興奮するに時間が表示されます。They are the moments we want you to remember and get excited to tell other people about. 空をカメラのリモート テスト マシン群を考慮することができませんでした後で、タイム トラベルを習得していない (まだ) コンテンツを作成する特殊な方法の各「不可能な観点」と呼ばれます。Since we couldn't take our camera rig up into the sky and we haven't (yet) mastered time travel, each of these "impossible perspectives" called for a special approach to creating content.

しくみBehind the scenes

これらの一意の瞬間と単映画と編集に必要なパースペクティブを作成します。Creating these unique moments and perspectives required more than just filming and editing. これにより、膨大な時間、多くのさまざまなスキルと少しハリウッド マジックを持つユーザーがかかりました。It took a tremendous amount of time, people with many different skills, and a little bit of Hollywood magic.

バルーン形式の空気をからローマを表示します。Viewing Rome from a hot air balloon

初期計画日から HoloTour の航空写真ビューがわかっています。From our early planning days, we knew we wanted to do aerial views in HoloTour. 空からローマできますが表示されるほとんどの人を表示することはありません取得するパースペクティブとランドマークの人気のある意味は、空間的に配置されています。Seeing Rome from the sky gives you a perspective that most people never get to see and a sense of how popular landmarks are spatially located. この自分たちをキャプチャしようとしています。 既存カメラとマイク リモート テスト マシン群がされている非常に困難ですになかったさいわい。Trying to capture this ourselves with our existing camera and microphone rig would have been tremendously difficult, but luckily we didn’t have to.

まず、移動にいるすべての HoloTour でアクセスする場所について説明する重要です。First, it's important to explain that all of the locations you visit in HoloTour have movement in them. 目標としました「実際に存在するように感じるする」ことを実際に移動するすべての場所の移動で囲まれて、ため、仮想の変換先がアンビエント移動もを伝達するために必要とします。Our goal was to make you “feel like you’re really there” and since you’re surrounded by movement everywhere you go in real life, our virtual destinations needed to convey ambient movement as well. たとえば、Pantheon にアクセスするには、旅行のと、は、人、起きる全体で保護されていました、それとも手順を確認します。For instance, when you visit the Pantheon on your trip, you’ll see people wandering throughout the plaza and congregating on the steps. バック グラウンドの動きは、ステージングの静的な環境ではなく、場所に実際に立っていると感じていることに役立ちます。The background motion helps to make you feel like you’re really standing in the location, rather than in a staged, static environment.

バルーン乗車の航空写真ビューを作成するには他のチームとマイクロソフトに勤務してローマの航空パノラマ画像へのアクセスを取得します。To create the aerial views for the balloon ride, we worked with other teams at Microsoft to get access to aerial panoramic imagery of Rome. これらのイメージの品質が優れたとビューが、魅力的ながそれらを変更しなくてもバック グラウンドで使用したときと感じましたたいしたツアーの他の部分と比較したモーションの欠如が注意をそらすとします。The quality of these images was excellent and the view was stunning, but when we used them in the scenes without modification, they felt lifeless compared to the other parts of the tour and the lack of motion was distracting.

ローマ経由で浮動空気バルーン バスケットします。The hot air balloon basket, floating over Rome.
空気バルーン バスケット、ローマ経由で浮動小数点The hot air balloon basket, floating over Rome

航空写真の場所が他の送信先として同じ品質基準を満たすためには、しました生活、静的な写真に変換するシーンを移動します。To ensure the aerial locations met the same quality bar as other destinations, we decided to transform the static photographs into living, moving scenes. 最初の手順では、そこにイメージと複合モーションを編集します。The first step was to edit the image and composite motion into it. これにご協力に視覚効果アーティストを縮小しました。We contracted a visual effects artist to help us with this. 緩やかに変化ドリフト クラウド、しのびませんと不定期の平面またはヘリコプター、skyline の走査を表示する編集が行われました。Editing was done to show clouds slowly drifting, birds flying by, and an occasional plane or helicopter traversing the skyline. 地上には、道路を駆動する車の台数が行われました。On the ground, a number of cars were made to drive the streets. HoloTour でローマのツアーにした場合、この移動のいずれかを明示的に認識した可能性がありますはありません。If you’ve been on the tour of Rome in HoloTour, it’s unlikely that you were explicitly aware of any of this movement. 実際にすばらしいですね。That’s actually great! 微妙な動き、目立つを意図していませんが、これらのほとんどのタッチせず人にすぐに、シーン内の静的イメージが。The subtle motion isn’t meant to catch your eye, but without these little touches, people noticed immediately that it was a static image in the scene.

実行した 2 つ目は、シーンを表示する視点を提供しました。The second thing we did was give you a vantage point from which to view the scene. バルーン形式の 3D モデルを作成し、その内部に配置するためだけバレルロールに浮動するしているように見えますかどうか本当にあるようと思わはありません。You won’t feel like you’re really there if it looks like you’re simply floating in midair, so we created a 3D model of a balloon and placed you inside of it. バルーン回りより優れた視点を取得する端の上に検索できます。This allows you to walk around the balloon and look over the edge to get a better viewpoint. この航空画像を体験する自然で楽しい方法がわかりました。We found this to be a natural and fun way to experience the aerial imagery.

空気のバルーンのエクスペリエンスでは、物流読み込めませんでした。 ローマ何千ものフィート ポインターを合わせるとマイクのように、オーディオのチームの固有の課題が表示されます。The hot air balloon experience presented unique challenges for our audio team, as logistics prevented us from having microphones hovering thousands of feet over Rome. さいわい、に掛けて仕事を都市生産後処理中に使用することができましたが、大量からオーディオ キャプチャのアンビエントがありました。Luckily, we had a large amount of ambient audio capture from all over the city that we were able to use during post-production. オーディオ エミッタをゼロからキャプチャされた場所からの相対的な場所に配置しました。 します。We placed audio emitters at their relative locations from where they were captured from the ground. サウンドがかかわり、バルーンに乗っているユーザーの観点から、シーンの認証、指向性の soundscape を提供する場合と同様、離れたをフィルター処理し、オーディオします。The audio was then filtered to sound distant, as if you were hearing it from the perspective of someone riding in the hot air balloon, providing an authentic, directional soundscape for the scene.

古代ローマへの移動時間Time traveling to ancient Rome

モニュメントとローマ全体での建物の余分な部分は優れています、作成した後の 2 つの 1,000 年後もがわかって、何のようになりますにさかのぼって、古代ローマで定義されたのとは、これらの構造を参照してくださいを説明する機会がありました。The remnants of monuments and buildings throughout Rome are impressive even two thousand years after their construction, but we knew we had a unique opportunity to show you what it would be like to go back in time and see these structures as they appeared in ancient Rome.

当然ながらがない任意の静的な画像またはビデオ映像)、Colosseum のように、ビルド時に表示されるようになりましたを独自に作成します。Naturally, there isn’t any video footage or static imagery) of the Colosseum as it appeared when it was built, so we needed to create our own. 構造について多くを学習できます。 調査の多くを実行する必要があります。マテリアルを理解することにしましたから、アーキテクチャの図を確認し、履歴の説明を読む仮想の再作成を行うことができる十分な情報を取得します。We had to do a lot of research to learn as much about the structure as we could; understanding the materials it was made from, reviewing architectural diagrams, and reading historical descriptions to get enough information to be able to make a virtual recreation.

古代ローマしましたが、競技場フロアの表示がオーバーレイ Colosseum 現代跡します。The modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome.
古代ローマしましたが、競技場フロアの表示がオーバーレイ Colosseum 現代の跡The modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome

最初に行うは、教育のオーバーレイを従来のツアーを強化しました。The first thing we wanted to do was enhance traditional tours with educational overlays. HoloTour 今日では、現時点では、Colosseum の遺跡にアクセスすると、競技場フロアが手の込んだ地下ステージング領域を含む、使用中に検索がしていた方法を説明する変換されます。In HoloTour when you visit the ruins of the Colosseum as it stands today, the arena floor is transformed to show you how it would have looked during use, including the elaborate underground staging areas. 通常ツアーではこの情報に記載されている必要がありますと、imagine しようとする可能性がありますが、HoloTour で実際に確認できます。On a normal tour you might have this information described to you and you could try to imagine it, but in HoloTour you can actually see it.

このようなオーバーレイのキャプチャ、映像の視点を一致し、オーバーレイ画像を手動で作成、アーティストがありました。For an overlay like this we had our artists match the viewpoint of our capture footage and create the overlay image by hand. パースペクティブは、一致すると、ビデオ、イメージの両方が正しく整列で置換するために必要があります。The perspective needs to match so that when we replace the video with our image both will align properly.

Gladiator 戦いのステージングStaging the gladiator fight

オーバーレイでは、履歴の詳細についてユーザーに伝える魅力的な方法ですが、何が最もワクワク転送する時点に戻します。While overlays are an engaging way to teach people about history, what we were most excited about was transporting you back in time. オーバーレイが特定の視点から静止画像だけが、移動の時間を全体の Colosseum モデル化して、躍動ようにシーンでモーションに必要な前述のように、します。The overlay was just a still image from a particular viewpoint, but time traveling would require the entire Colosseum to be modeled, and, as discussed above, we needed to have motion in the scene to make it feel alive. これを実現すると、作業の非常に長い時間がかかりました。Achieving that took a considerable amount of effort.

この作業はされた Whiskytree、外部の効果、企業と協力して、つまり通常、アート チームは、ハリウッド ムービーの視覚効果では、私たちのチームを単独で行うには大きすぎます。This undertaking was too large for our team to do alone, so our art team worked with Whiskytree, an external effects company that typically works on visual effects for Hollywood movies. Whiskytree おかげで、その heyday で、Colosseum を再作成、競技場現場での継続中の構造について学習し、皇帝のボックスから gladiator 戦いのビューを作成することができます。Whiskytree helped us recreate the Colosseum in its heyday, allowing us to teach you about the structure while standing on the arena floor and to create a view of a gladiator fight from the emperor’s box. 声援観衆とバナーの手を振るは、これらは実際の場所とだけでなくイメージのように感じさせるために必要なわずかな動きを追加します。The cheering crowds and waving banners add the subtle motion necessary to make it feel like these are real places and not just images.

競技場現場から再作成された Colosseum を見られるようです。The recreated Colosseum as seen from the arena floor. HoloTour でモーション感を与える、簡単でバナーは問題になりません。When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.
競技場現場から再作成された Colosseum を見られるようです。HoloTour でモーション感を与える、簡単でバナーは問題になりません。The recreated Colosseum as seen from the arena floor. When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.

ローマのツアーが gladiator 戦いで完了します。The tour of Rome culminates with the gladiator fight. Whiskytree くれて、競技場と 3D 観客のシミュレーション、ビデオとしてレンダリングされますが、競技場床の上、gladiators で追加する必要がありました。Whiskytree provided us with the arena and 3D crowd simulations rendered as video, but we needed to add in the gladiators on the arena floor. プロセスのこの部分は、育成のゲーム スタジオからハリウッド ビデオの運用環境にプロジェクトをより検索します。This part of our process looked more like a Hollywood video production than a project from an incubation game studio. 私たちのチームのメンバーでは、大まかな戦いシーケンスをマップされ、choreographer を調整します。Members of our team mapped out a rough fight sequence and then refined it with a choreographer. モック戦いを段階的にアクターを採用し、一部よう防御を購入します。We hired actors to stage our mock battle and purchased armor so they would look the part. 最後に、緑色の画面に対してシーン全体を撮影します。Finally, we filmed the whole scene against a green screen.

当社 gladiators、受け取りの間の命令を取得します。Our gladiators, getting instructions between takes.
作業手順の間では、当社 gladiatiorsOur gladiatiors, getting instructions between takes

このシーンでは、皇帝のボックスで、その観点からするために必要なすべての映像を配置します。This scene places you in the Emperor’s box, which meant that all the footage needed to be from that perspective. 私たちは、競技場、床の上、gladiators が戦っているからアスペクトされた場合、でしょうできましたを正しく複合の戦いシーケンスで後で、ので、カメラの演算子非常に高いシザリング リフトで映画の戦いのシーケンスを見下ろしたします。If we filmed from where the gladiators were fighting on the arena floor, we wouldn't have been able to correctly composite the fight sequence in later, so we put our camera operator up in a very tall scissor lift, looking down on the fight sequence for filming.

右側のパースペクティブを取得する: シザリング リフトから撮影します。Getting the right perspective: filming from a scissor lift.
右側のパースペクティブを取得する: シザリング リフトから映画Getting the right perspective: filming from a scissor lift

後の運用環境では、gladiators が競技場床に合成と、パースペクティブは正しいが、1 つの問題は残っています。 緑色の画面で gladiators の影が合成プロセスの一環として削除されました。In post-production, the gladiators were composited onto the arena floor and the perspective was correct, but one issue remained: the shadows of the gladiators on the green screen were removed as part of the compositing process. 影のせず、gladiators が空中に浮かんでいたように見えました。Without shadows, it looked like the gladiators were floating in the air. さいわい、Whiskytree は単にこの種の問題を解決するための優れたと技術の技術のビットをシーンに影を追加するために使用します。Luckily, Whiskytree is great at solving just this kind of problem and they used a bit of technical wizardry to add shadows back into our scene. 表示される内容ツアーで今すぐになります。The result is what you see in the tour today.

著者についてAbout the authors

David Haley David Haleyシニア開発者カメラ リモート テスト マシン群とビデオの再生についての彼と考え HoloTour での操作よりも詳細説明しました。David Haley is a Senior Developer who learned more about camera rigs and video playback than he thought possible from working on HoloTour. Jason Syltebo Jason Sylteboに戻る場合でも、アクセスするすべての宛先の soundscape に発生する可能性があることを確認したオーディオ デザイナーです。Jason Syltebo is an Audio Designer who made sure you could experience the soundscape of every destination you visit, even when you go back in time.
Danny Askew Danny Askewはビデオのアーティスト、ローマ体験が可能な限り、完璧なことを確認します。Danny Askew is a Video Artist who made sure your journey through Rome was as flawless as possible.

関連項目See also