HoloLens の spectator ビューSpectator View for HoloLens

Marker

現在のリファクタリングCurrent Refactor

注意

HoloLens の spectator ビューのリファクタリングがアクティブにされています。Spectator View for HoloLens is being actively refactored. この作業は、プレビューを統合するためのものが、それをコードベースし、Pro HoloLens 2 のサポートを拡張します。This work is intended to consolidate the Preview and Pro codebases and extend support to HoloLens 2.

現在の表示 Spectator ビューのリファクタリングの状態は MixedRealityToolkit と MixedRealityToolkit Unity の両方のリポジトリにある '機能/spectatorView' ブランチを参照してください。To view the current state of the Spectator View refactor see 'feature/spectatorView' branches in both the MixedRealityToolkit and MixedRealityToolkit-Unity repos:

https://github.com/Microsoft/MixedRealityToolkit-Unity/tree/feature/spectatorView/Assets/MixedRealityToolkit.Extensions/SpectatorView

and

https://github.com/Microsoft/MixedRealityToolkit/tree/feature/spectatorView/SpectatorViewPlugin

概要Overview

ソックスを着けずに、HoloLens、ときに多くの場合、忘れている人を持たないことはできる信じられないことが発生することができません。When wearing a HoloLens, we often forget that a person who does not have it on is unable to experience the wonders that we can. Spectator ビューを使用して、HoloLens ユーザーが自分の世界では 2D 画面に表示する使用できます。Spectator View allows others to see on a 2D screen what a HoloLens user sees in their world. Spectator ビュー (プレビュー) は、Spectator ビュー Pro ホログラムのプロ品質の記録の目的は、HD でホログラムの記録に高速で低コストのアプローチです。Spectator View (Preview) is fast and affordable approach to recording holograms in HD, while Spectator View Pro is intended for professional quality recording of holograms.

次の表は、両方のオプションとその機能を示します。The following table shows both options and their capabilities. ビデオ記録のニーズに最適なオプションを選択します。Choose the option that best fits your video recording needs:

Spectator ビュー (プレビュー)Spectator View (Preview) Spectator Pro の表示Spectator View Pro
HD 品質HD quality フル HDFull HD 映画 (DSLR によって決定されます)、プロの品質Professional quality filming (as determined by DSLR)
簡単なカメラの動きEasy camera movement
3 人目のビューThird-person view
画面にストリームすることができます。Can be streamed to screens
移植性があります。Portable
ワイヤレスWireless
必要なハードウェアの追加Additional required hardware (iPhone または iPad)iPhone (or iPad) HoloLens + リモート テスト マシン群 + 三脚 + DSLR + PC + UnityHoloLens + Rig + Tripod + DSLR + PC + Unity
ハードウェアへの投資Hardware investment Low High
クロスプラットフォームCross-platform iOSiOS
ビューアーが対話することができます。Viewer can interact
ネットワークも不要です (UNET スクリプト)Networking required (UNET scripting)
ランタイムのセットアップの実行時間Runtime setup duration インスタントInstant スロー (低速)Slow

Spectator ビュー (プレビュー)Spectator View (Preview)

Marker

使用事例Use cases

  • HD の映画ホログラム:Spectator ビュー (プレビュー) を使用して、iPhone を使用して、複合現実エクスペリエンスを記録できます。Filming holograms in HD: Using Spectator View (Preview), you can record a mixed reality experience using an iPhone. フル HD に記録し、ホログラムともシャドウにアンチエイリアシングを適用します。Record in full HD and apply anti-aliasing to holograms and even shadows. ホログラムのビデオをキャプチャするコスト効率に優れた、簡単な方法です。It is a cost-effective and quick way to capture video of holograms.
  • ライブ デモ:IPhone または iPad では、lag フリーから直接、Apple TV エクスペリエンス Stream ライブ複合現実です。Live demos: Stream live mixed reality experiences to an Apple TV directly from your iPhone or iPad, lag-free!
  • ゲストのエクスペリエンスを共有します。HoloLens 以外のユーザーのスマート フォンまたはタブレットから直接ホログラムが発生することができるようにします。Share the experience with guests: Let non-HoloLens users experience holograms directly from their phones or tablets.

現在の機能Current features

  • スマート フォンをセッションに追加するための自動検出をネットワークです。Network auto-discovery for adding phones to the session.
  • セッションの自動処理をため、ユーザーが正しいセッションに追加されます。Automatic session handling, so users are added to the correct session.
  • ホログラム、ホログラム正確な同じ場所に表示されるすべてのユーザーのための空間同期します。Spatial synchronization of Holograms, so everyone sees holograms in the exact same place.
  • iOS では、(ARKit が有効なデバイス) をサポートします。iOS support (ARKit-enabled devices).
  • IOS の複数のゲストです。Multiple iOS guests.
  • ビデオ + ホログラム + 環境音ホログラム サウンドの録音。Recording of video + holograms + ambient sound + hologram sound.
  • ビデオを保存、電子メール、またはその他のサポートのアプリと共有するために、シートを共有します。Share sheet so you can save video, email it, or share with other supporting apps.

注意

Spectator ビュー (プレビュー) のコードは、Spectator ビュー Pro バージョンのコードでは使用できません。The Spectator View (Preview) code cannot be used with the Spectator View Pro version code. ホログラムのビデオ記録が必要な場合、新しいプロジェクトでの実装をお勧めします。We recommend to implement it in new projects where video recording of holograms is required.


ライセンスLicenses

Spectator ビュー (プレビュー) を設定する方法How to set up Spectator View (Preview)

要件Requirements

  • Spectator ビュー プラグインと必要な OpenCV バイナリ-Spectator ビューのネイティブ プラグインを構築する方法の詳細については下にあります。Spectator View plugin and required OpenCV binaries - Details on how to build the Spectator View Native Plugin can be found below. 生成されたバイナリからは、次の必要があります。From the generated binaries you will need:

    • opencv_aruco343.dllopencv_aruco343.dll

    • opencv_calib3d343.dllopencv_calib3d343.dll

    • opencv_core343.dllopencv_core343.dll

    • opencv_features2d343.dllopencv_features2d343.dll

    • opencv_flann343.dllopencv_flann343.dll

    • opencv_imgproc343.dllopencv_imgproc343.dll

    • zlib1.dllzlib1.dll

    • SpectatorViewPlugin.dllSpectatorViewPlugin.dll

  • Spectator ビューでは、そのネットワークの検出と空間的な同期の Unity Networking (UNET) を使用します。Spectator View uses Unity Networking (UNET) for its network discovery and spatial syncing. つまり、アプリケーションの中にすべての対話機能をデバイス間で同期する必要があります。This means all interactivity during the application needs to be synced between the devices.

  • Unity 2017.2.1p2 またはそれ以降Unity 2017.2.1p2 or later

  • ハードウェアHardware

    • HoloLens、A HoloLens
    • Windows 10 を実行している Windows PCWindows PC running Windows 10
    • ARKit 互換性のあるデバイス (iPhone 6 s 以降/iPad Pro 2016 以降/iPad 2017 以降)-iOS 11 を実行している以上ARKit compatible device (iPhone 6s onwards / iPad Pro 2016 onwards / iPad 2017 onwards) - running iOS 11 or above
    • Mac で xcode 9.2 以降Mac with xcode 9.2 onwards
  • Apple 開発者アカウント、無料または有料Apple developer account, free or paid

  • Microsoft Visual Studio 2017Microsoft Visual Studio 2017

Spectator ビューのネイティブ プラグインを構築Building the Spectator View native plugin

必要なファイルを生成するには、次の手順を実行します。 https://github.com/Microsoft/MixedRealityToolkit/blob/master/SpectatorViewPlugin/README.mdTo generate the required files, follow these steps: https://github.com/Microsoft/MixedRealityToolkit/blob/master/SpectatorViewPlugin/README.md

プロジェクトのセットアップProject setup

  1. シーン内のすべての見える gameobjects は、世界のルート gameobject の下に含まれていることを確認、シーンを準備します。Prepare your scene, ensuring all visable gameobjects within your scene are contained under a world root gameobject.

    世界のルート

  2. SpectatorView プレハブの追加 (Assets/HoloToolkit-Preview/SpectatorView/Prefabs/SpectatorView.prefab) シーンにします。Add the SpectatorView prefab (Assets/HoloToolkit-Preview/SpectatorView/Prefabs/SpectatorView.prefab) into your scene.

  3. SpectatorViewNetworking プレハブの追加 (Assets/HoloToolkit-Preview/SpectatorView/Prefabs/SpectatorViewNetworking.prefab) シーンにします。Add the SpectatorViewNetworking prefab (Assets/HoloToolkit-Preview/SpectatorView/Prefabs/SpectatorViewNetworking.prefab) into your scene.

  4. SpectatorViewNetworking gameobject を選択し、SpectatorViewNetworkingManager コンポーネントには、いくつかの点をリンクすることができます。Select the SpectatorViewNetworking gameobject and on the SpectatorViewNetworkingManager component, there's a few things you can link up. 左はそのまま残る場合、このコンポーネントは、実行時に必要なスクリプトの検索されます。If left untouched this component will search for necessary scripts at runtime.

    • マーカー検出 HoloLens SpectatorView/Hololens/MarkerDetection を -> します。Marker Detection HoloLens -> SpectatorView/Hololens/MarkerDetection
    • マーカー生成 3D SpectatorView、IPhone、SyncMarker/3DMarker を -> します。Marker Generation 3D -> SpectatorView/IPhone/SyncMarker/3DMarker

    SpectatorView ネットワーク探索

アプリのネットワークNetworking your app

  • Spectator 表示では、そのネットワークの UNET が使われのすべてのホスト クライアント接続を管理します。Spectator View uses UNET for its networking and manages all host-client connections for you.
  • アプリの特定のデータは、同期され、SyncVars、NetworkTransform、NetworkBehavior などを使用して実装する必要があります。Any app specific data has to be synced and implemented by you, using e.g. SyncVars, NetworkTransform, NetworkBehavior.
  • Unity のネットワークの詳細については次を参照してくださいマルチ プレーヤーとネットワークします。For more information on Unity Networking please visit Multiplayer and Networking. (注。UNet は非推奨とされました。Spectator ビュー コードベースの現在のリファクタリングは、この問題に対処されます)(Note: UNet has been deprecated; the current refactor of the Spectator View codebase will address this issue)

HoloLens (iOS) は、各プラットフォームの構築Building for each platform (HoloLens or iOS)

  • IOS をビルドする場合は、まだこのプラットフォームと互換性はないために、MRTK の GLTF コンポーネントを削除するを確認します。When building for iOS, ensure you remove the GLTF component of MRTK as this is not yet compatible with this platform.

  • SpectatorView プレハブの最上位レベルでは、' プラットフォーム スイッチャー ' と呼ばれるコンポーネントです。At the top level of the SpectatorView prefab there is a component called 'Platform Switcher'. ビルドするプラットフォームを選択します。Select the platform you want to build for.

    • 'Hololens' を選択した場合、非アクティブになる SpectatorView プレハブで iPhone gameobject の下にあるすべての gameobject とアクティブになる 'Hololens' 下のすべての gameobject が表示されます。If selecting 'Hololens' you should see all gameobjects beneath the iPhone gameobject in the SpectatorView prefab become inactive and all the gameobjects under 'Hololens' become active.
    • これは少し時間がかかるプラットフォームによって選択すると、HoloToolkit されているプロジェクトの追加または削除します。This can take a little while as depending on the platform you choose the HoloToolkit is being added or removed from the project.

    プラットフォームのスイッチャー

  • Unity と未解決の問題により同じ Unity エディターのインスタンス (do 間終了させない Unity のビルド) を使用してアプリケーションのすべてのバージョンをビルドすることを確認します。Ensure you build all versions of the application using the same Unity editor instance (do not close Unity between builds) due to an unresolved issue with Unity.

アプリケーションを実行します。Running your app

作成すると、デプロイするアプリケーションの iPhone と HoloLens のバージョンが、これらを接続することができる必要があります。Once you have built and deployed a version of you application on iPhone and on HoloLens, you should be able to connect them.

  1. デバイスの両方を同じ Wi-fi ネットワークにあることを確認します。Ensure that both devices are on the same Wi-Fi network.

  2. 不特定の順序で、両デバイスでアプリケーションを起動します。Start the application on the both devices, in no specific order. Iphone の場合、アプリケーションを開始するプロセスは、HoloLens のカメラをオンにし、写真が撮影を開始をトリガーする必要があります。The process of starting the application on the iPhone should trigger the HoloLens camera to turn on and begin taking pictures.

  3. IPhone アプリが起動するとすぐに、床やテーブルなどのサーフェスを検索します。As soon as iPhone app starts, it will look for surfaces like floors or tables. サーフェスが見つかった場合は、次のようなマーカーが表示されます。When surfaces are found, you should see a marker similar to the one below. HoloLens にこのマーカーを表示します。Show this marker to the HoloLens.

    Marker

  4. マーカーが検出されましたが非表示、HoloLens とデバイスの両方の接続し空間的に同期する必要があります。Once the marker has been detected by the HoloLens it should disappear and both devices should be connected and spatially synced.

記録のビデオRecording video

  1. IPhone からビデオを保存して、キャプチャをタップし、1 秒間、画面を保持します。To capture and save a video from the iPhone, tap and hold the screen for 1 second. これにより、記録メニューが開きます。This will open the recording menu.
  2. 赤い録画ボタンをタップして、画面の記録を開始する前に、カウント ダウンが開始されます。Tap the red record button, this will start a countdown before beginning to record the screen.
  3. 記録タップを終了し、別の 1 秒間、画面を押しながら、し、[停止] ボタンをタップします。To finish recording tap and hold the screen for another 1 second, then tap the stop button.
  4. プレビュー ボタン (青色のボタン) が表示されます、録画されたビデオが読み込まれたら、録画したビデオを見るにタップします。Once the recorded video loads, a Preview button (blue button) will appear, tap to watch the recorded video.
  5. 共有のシートを開き、カメラ ロールに保存 を選択します。Open the Share sheet and select Save to camera roll.

シーンの例Example scene

例のシーンが見つかりますHoloToolkit-Examples\SpectatorView\Scenes\SpectatorViewExample.unityAn example scene can be found in HoloToolkit-Examples\SpectatorView\Scenes\SpectatorViewExample.unity

トラブルシューティングTroubleshooting

Unity エディターは、HoloLens デバイスによってホストされているセッションに接続できません。The Unity Editor won't connect to a session hosted by a HoloLens device

  • これは、Windows ファイアウォールで可能性があります。This could be the Windows Firewall.
  • Windows ファイアウォールのオプションに移動します。Go to Windows Firewall options.
  • アプリまたは Windows ファイアウォールを使用して機能を許可します。Allow an app or feature through Windows Firewall.
  • すべてのインスタンスの一覧のティックで Unity エディターのドメイン、プライベートおよびパブリック。For all instances of Unity Editor in the list tick, Domain, Private and Public.
  • Windows ファイアウォールのオプションに戻ります。Then go back to Windows Firewall options.
  • [詳細設定] をクリックします。Click Advanced settings.
  • [受信の規則] をクリックします。Click Inbound Rules.
  • Unity エディターのすべてのインスタンスには、緑色のチェックが必要です。All instances of Unity Editor should have a green tick.
  • Unity エディターのすべてのインスタンスに対して、緑のチェック マークがないです。For any instances of Unity Editor that don't have a green tick:
    • ダブルクリックしてください。Double click it.
    • アクションでは、ダイアログは、接続を許可するを選択します。In the action dialog select Allow the connection.
    • [OK] をクリックします。Click OK.
    • Unity エディターを再起動します。Restart the Unity Editor.

実行時に、iPhone 画面の質問「を検索するフロア…」AR マーカーは表示されません。At runtime the iPhone screen says "Locating Floor..." but does not display an AR marker.

  • 水平画面ので試してくださいフロアまたはテーブルの方に iPhone カメラを指すは、iPhone を探します。The iPhone is looking for a horizontal surface so try pointing the iPhone camera towards the floor or a table. これによって、ARKit HoloLens と空間的に同期するために必要なサーフェスを検索します。This will help ARKit find surfaces necessary to spatially sync with HoloLens.

HoloLens のカメラを有効にしません iPhone が参加を試むときに自動的にします。HoloLens camera does not turn on automatically when iPhone tries to join.

  • HoloLens と iPhone の両方が同じ Wi-fi ネットワークで実行されていることを確認します。Make sure both HoloLens and iPhone are running on the same Wi-Fi network.

モバイル デバイス上の Spectator ビュー アプリケーションを起動するときにそのカメラ Spectator ビューの他のアプリを実行している他の hololens 有効にします。When launching an Spectator View application on a mobile device, other hololens running other Spectator View apps turn on their camera

  • Goto NewDeviceDiscovery コンポーネントと 2 つの一意の値にブロードキャスト キーおよびブロードキャストの両方のポートを変更します。Goto the NewDeviceDiscovery component and change the both the Broadcast Key and Broadcast port to two unique values.
  • SpectatorViewDiscovery に移動し、別のセットの一意の番号に、キーのブロードキャストとブロードキャストのポートを変更します。Go to SpectatorViewDiscovery and change the Broadcast Key and Broadcast port to another set of unique numbers.

Mac の Unity エディターで、HoloLens を接続できません。The HoloLens won't connect with the mac Unity Editor.

  • これは、Unity のバージョンにリンクできますが、既知の問題です。This is a known issue which could be linked to the Unity version. IPhone を構築する必要がありますも動作し、通常どおりに接続します。Building to the iPhone should still work and connect as normal.

HoloLens カメラでは、オンが、マーカーをスキャンすることではありません。The HoloLens camera turns on but is not able to scan the marker.

  • Unity エディターの同じインスタンス (do 間終了させない Unity のビルド) を使用して、アプリケーションのすべてのバージョンを作成することを確認します。Ensure that you build all versions of the application using the same Unity Editor instance (do not close Unity between builds). Unity の不明な問題が原因になります。This is due to an unknown issue with Unity.

Spectator Pro の表示Spectator View Pro

Spectator 設定の表示

Spectator ビューの Pro を使用して、これら 4 つのコンポーネントが含まれます。Using Spectator View Pro involves these four components:

  1. 基づく spectator ビューを有効にするには、具体的にはビルドされたアプリ複合現実での経験を共有します。An app built specifically to enable spectator view, which is based on shared experiences in mixed reality.
  2. ソックスを着けずに HoloLens、アプリを使用してユーザー。A user wearing HoloLens using the app.
  3. 人称視点のビデオを提供する、spectator ビュー カメラ装置です。A spectator view camera rig providing a third-person perspective video.
  4. 実行しているアプリの共有エクスペリエンスおよび複合、ホログラム spectator ビューのビデオにデスクトップ PC。A desktop PC running the shared experience app and compositing the holograms into a spectator view video.

Spectator ビューの Pro 設定

使用事例Use cases

Spectator ビューは、静止画像、ビデオ クリップ、またはライブ デモになるかどうか、holographic せましょうの共有を使用できます。Spectator view can be used for sharing your holographic creations, whether they're a still image, a video clip, or a live demonstration.

このテクノロジと連動する次の 3 つの主要なシナリオがあります。There are three key scenarios that work well with this technology:

1.写真をキャプチャ1. Photo capture
このテクノロジを使用して、ホログラムの高解像度のイメージをキャプチャできます。Using this technology, you can capture high resolution images of your holograms. これらのイメージは、イベントのマーケティング コンテンツを紹介するを潜在的なクライアントに送信または Windows Store にアプリケーションを送信することもできます。These images can be used to showcase content at marketing events, send to your potential clients, or even submit your application to the Windows Store. どの写真のカメラを使用してこれらのイメージをキャプチャしたいのかを決定する、そのため、品質 DSLR カメラこともできます。You get to decide which photo camera you would like to use to capture these images, as such you may prefer a quality DSLR camera.

Spectator ビュー Pro 写真キャプチャのサンプルSpectator View Pro photo capture example
写真のキャプチャの例 - 溶岩をから床面が見えるようにされます。Photo capture example - making it appear the floor is made of lava.

2.ビデオのキャプチャ2. Video capture
ビデオは、多くの人と holographic アプリ エクスペリエンスを共有するためのメカニズムを示す最適なストーリーです。Videos are the best story telling mechanism for sharing a holographic app experience with many people. Spectator ビューでは、最も適したアプリを紹介する方法をカメラ、レンズは、フレームを選択できます。Spectator view lets you choose the camera, lens, and framing that best suits how you want to showcase your app. これは、ビデオ ハードウェアに基づくビデオ品質のコントロールで使用可能ながあります。It puts you in control of the video quality based on the video hardware you have available.

Spectator ビュー Pro ビデオ キャプチャ例Spectator View Pro video capture example
ビデオ キャプチャ例 - 複合現実のコラボレーション エクスペリエンスを記録します。Video capture example - recording a mixed reality collaboration experience.

3.ライブ デモ3. Live demonstrations
Spectator ビューはライブ デモに対して推奨されるアプローチ安定または制御されたカメラの位置のままです。Spectator view is a preferred approach for live demonstrations as the camera position remains steady or controlled. 高品質なビデオ_カメラを使用するため、大きな画面向けの高品質なイメージを作成することもします。Because you can use a high-quality video camera, you can also produce high-quality images meant for a big screen. これは、ストリーミングが有効にするは、行で待機している一括の参加者に可能性があります、画面上のライブ デモに適したも。This is also appropriate for streaming live demos on a screen, possibly to eager participants waiting in line for their turn.

ビデオ キャプチャ手法の比較Comparing video capture techniques

実際のキャプチャを混合(MRC) の最初のユーザーの観点から、HoloLens のユーザーが表示されるコンポジット ビデオを提供します。Mixed reality capture (MRC) provides a video composite of what the HoloLens user is seeing from a first person point-of-view. Spectator ビューでは、ホログラムとソックスを着けずに HoloLens デバイス ユーザーの環境を表示するビデオのオブザーバーを許可する - 3 人目の観点からビデオを生成します。Spectator view produces a video from a third-person perspective, allowing the video observer to see the environment with holograms and the user wearing a HoloLens device. カメラの選択肢があるために、高い解像度と MRC イメージを使用する組み込み HoloLens カメラより優れた品質の画像が spectator ビューに生成もできます。Because you have a choice of camera, spectator views can also produce higher resolution and better quality images than the built-in HoloLens camera used for MRC images. このため、spectator ビューよりマーケティングのビデオ、Windows ストア アプリの画像やユーザー向けのライブ ビューを射影は適しています。For this reason, spectator view is better suited for app images in the Windows Store, marketing videos, or for projecting a live view for an audience.

Microsoft での基調講演のプレゼンテーションで使用されるビューの Pro professional カメラを spectatorSpectator View Pro professional camera used in Microsoft keynote presentations
Microsoft での基調講演のプレゼンテーションで使用されるビューの Pro professional カメラを spectatorSpectator View Pro professional camera used in Microsoft keynote presentations

Spectator ビューには、Microsoft HoloLens がの表示方法エクスペリエンスの対象ユーザーを非常に当初から、製品が 2015 年 1 月に発表したときの重要な要素がされました。Spectator view has been an essential piece of how Microsoft HoloLens has presented experiences to audiences since the very beginning when the product was announced in January 2015. Professional の設定では、多くの要求と負荷の高い価格タグを必要があります。The professional setup used had high demands and an expensive price tag to go with it. たとえば、カメラは genlock 信号を使用して、追跡システム HoloLens と連携して正確なタイミングを確認します。For example, the camera uses a genlock signal to ensure precise timing that coordinates with the HoloLens tracking system. このセットアップでは、spectator ビュー カメラを移動が可能な他のユーザーが多い、HoloLens で直接開発のエクスペリエンスを一致するように安定したホログラムを維持しながら。In this setup, moving the spectator view camera was possible while keeping holograms stable to match the experience of someone who is seeing the experience directly in HoloLens.

Spectator ビューのオープン ソースのバージョンと引き換え全体的なセットアップのコストを大幅に削減するためにカメラのリモート テスト マシン群を移動する機能が無効です。The open-source version of spectator view trades off the ability to move the camera rig in order to dramatically lower the cost of the overall setup. このプロジェクトでは、剛体、HoloLens にマウントされている外部のカメラを使用して、高解像度写真の撮影と holographic Unity プロジェクトのビデオ。This project uses an external camera rigidly mounted to a HoloLens to take high-definition pictures and video of your holographic Unity project. ライブ デモ、中には、カメラは、固定位置に残っている必要があります。During live demonstrations, the camera should remain in a fixed position. カメラの動きは、ホログラム ジッターや誤差につながることができます。Movement of the camera can lead to hologram jitter or drift. これは、ビデオのフレームのタイミングと、PC でホログラムのレンダリングは正確に同期できないためにです。This is because the timing of the video frame and the rendering of holograms on the PC may not be precisely synchronized. そのため、カメラを安定した保持するか、移動を制限すると、HoloLens を着ている人が確認できるものに近い結果が生成されます。Therefore, keeping the camera steady or limiting movement will produce a result close to what the person wearing a HoloLens can see.

アプリを spectator ビューに対応するためには、ビルドする必要があります、エクスペリエンスを共有アプリ HoloLens と Unity エディターでデスクトップの両方でアプリを実行できることを確認します。To make your app ready for spectator view, you'll need to build a shared experience app and ensure the app can run on both HoloLens as well as desktop in the Unity editor. デスクトップ バージョンのアプリには、その複合ビデオ フィード表示ホログラムに組み込まれている追加のコンポーネントがあります。The desktop version of the app will have additional components built in that composite the video feed with the rendered holograms.

Spectator ビューの Pro を設定する方法How to set up Spectator View Pro

必要条件Requirements

Spectator ビュー Pro リモート テスト マシン群

ハードウェアのショッピング リストHardware shopping list

以下は、ハードウェアの推奨される一覧ですが、他の互換性のある単位での実験も。Below is a recommended list of hardware, but you can experiment with other compatible units too.

ハードウェア コンポーネントHardware component 推奨Recommendation
HoloLens のエミュレーターを使用した holographic の開発に適している PC の構成A PC configuration that works for holographic development with the HoloLens emulator
カメラを HDMI または写真をキャプチャ SDKCamera with HDMI out or photo capture SDK 写真とビデオのキャプチャは、テストしましたが、 Canon EOS 5 D マーク IIIカメラ。For photo and video capture, we have tested the Canon EOS 5D Mark III camera. ライブ デモをテストしましたが、 Blackmagic デザイン運用カメラ 4 Kします。For live demonstrations, we have tested the Blackmagic Design Production Camera 4K.

(例: GoPro) out HDMI でカメラが動作する必要がありますに注意してください。Note, any camera with HDMI out (e.g. GoPro) should work. ビデオの多くを使用して、 Canon EF 14 mm f/2.8 L II USM: ultra Wide 角度固定レンズがニーズを満たすカメラのレンズを選択する必要があります。Many of our videos use the Canon EF 14mm f/2.8L II USM Ultra-Wide Angle Fixed Lens, but you should choose a camera lens that meets your needs.
キャプチャ、リモート テスト マシン群を調整して合成シーンをプレビューするには、カメラからフレームの色を取得する PC のカードCapture card for your PC to get color frames from your camera to calibrate your rig and preview your composite scene テストしましたが、 Blackmagic デザイン強度 Pro 4 K キャプチャ カードします。We have tested the Blackmagic Design Intensity Pro 4K capture card.
ケーブル (複数)Cables ミニ HDMI を HDMIキャプチャ カード、カメラを接続します。HDMI to Mini HDMI for attaching your camera to your capture card. カメラに合った HDMI フォーム ファクターを購入することを確認します。Ensure you purchase an HDMI form factor that fits your camera. (GoPro は、たとえば、経由で出力マイクロ HDMI)。(GoPro, for instance, outputs over Micro HDMI.)

HDMI ケーブル複合プレビュー モニターまたはテレビでフィードを表示します。HDMI cable for viewing the composite feed on a preview monitor or television
カメラに接続、HoloLens、アルミニウム角かっこを加工します。Machined aluminum bracket to connect your HoloLens to the camera. アルミニウム角かっこAluminum bracket
3D では、HoloLens のマウントをカメラ hotshoe に接続するアダプターを印刷します。3D printed adapter to connect the HoloLens mount to the camera hotshoe. 3D 印刷アダプター3D printed adapter
Hotshoe fastener hotshoe アダプターをマウントするにはHotshoe fastener to mount the hotshoe adapter Hotshoe FastenerHotshoe Fastener
さまざまなナットやボルト、ツールAssorted nuts, bolts, and tools 1/4-20"ナット1/4-20" Nuts
1/4-20"× 3/4"ボルト1/4-20" x 3/4" Bolts
7/16 ナット ドライバー7/16 Nut Driver
T15 TorxT15 Torx
T7 TorxT7 Torx

ソフトウェア コンポーネントSoftware components

  1. ソフトウェアをダウンロード、 spectator ビュー用の GitHub プロジェクトします。Software downloaded from the GitHub project for spectator view.
  2. Blackmagic キャプチャ カード SDK\。Blackmagic Capture Card SDK.\ デスクトップのビデオ Developer「最新のダウンロード」で SDK を検索します。Search for Desktop Video Developer SDK in "Latest Downloads".
  3. Blackmagic デスクトップ ビデオ ランタイム\。Blackmagic Desktop Video Runtime.\ 「最新版のダウンロード」でデスクトップのビデオのソフトウェア更新プログラムを検索します \。Search for Desktop Video Software Update in "Latest Downloads".\ バージョン番号と一致する SDK のバージョンを確認します。Ensure the version number matches the SDK version.
  4. OpenCV 3.1調整または Blackmagic キャプチャのカードがないビデオ キャプチャします。OpenCV 3.1 For calibration or video capture without the Blackmagic capture card.
  5. Canon SDK (省略可能). \Canon SDK (Optional).\ Canon カメラを使用しているし、Canon SDK へのアクセスがある場合より高い解像度のイメージを実行する PC にカメラを使用できます。If you are using a Canon camera and have access to the Canon SDK, you can tether your camera to your PC to take higher resolution images.
  6. Holographic アプリ開発の unity \。Unity for your holographic app development.\ OSS プロジェクトでは、サポートされているバージョンを確認できます。Supported version can be found in the OSS project.
  7. 最新の更新プログラムの visual Studio 2015。Visual Studio 2015 with latest updates.

Spectator ビュー Pro カメラの構築Building your own Spectator View Pro camera

通知および免責事項: 基本的な (など、HoloLens「spectator ビュー」の設定に限定されません)、HoloLens のハードウェアの変更を行うときに安全に関する注意事項に従って常にする必要があります。NOTICE & DISCLAIMER: When making modifications to your HoloLens hardware (including, but not limited to, setting up your HoloLens for "spectator view") basic safety precautions should always be observed. すべての変更を加える前に、すべての手順については、マニュアルを読み取る。Read all instructions and manuals before making any modifications. すべての手順し、ツールを使用して、指示に従ってユーザーの責任になります。It is your responsibility to follow all instructions and use tools as directed. 購入または制限付き保証または保証の免責、HoloLens のライセンスを取得した可能性があります。You may have purchased or licensed your HoloLens with a limited warranty or no warranty. 該当するをお読みくださいHoloLens の使用許諾契約書または使用条件および販売保証オプションについて理解します。Please read your applicable HoloLens License Agreement or Terms of Use and Sale to understand your warranty options.


リモート テスト マシン群のアセンブリRig Assembly

HoloLens と DSLR カメラに組み立てられた Spectator ビュー Pro 装置です。Assembled Spectator View Pro rig with HoloLens and DSLR camera.
HoloLens と DSLR カメラに組み立てられた Spectator ビューの Pro を発するAssembled Spectator View Pro rig with HoloLens and DSLR camera

  • T7 ドライバーを使用して、HoloLens から、ヘッドバンドを削除します。Use a T7 screwdriver to remove the headband from the HoloLens. ねじが疎、もう一方の側からのクリップでそれらを開けます。Once the screws are loose, poke them out with a paperclip from the other side.
  • 内側にネジ cap を削除小型マイナス ドライバーでの HoloLens のハイパーバイザーの表面。Remove the screw cap on the inside front of the HoloLens visor with a small flat head screwdriver.
  • T15 ドライバーを使用して、削除、HoloLens の角かっこから小さな torx ボルトを削除して添付ファイルのフック形します。Use a T15 screwdriver to remove the small torx bolts from the HoloLens bracket to remove the U and Hook-shaped attachments.
  • 角かっこ、角かっこの前面の 3-d 図形を使用して、公開されている、ハイパーバイザーの内側の穴に通します、HoloLens を配置します。Place the HoloLens on the bracket, lining up the exposed hole on the inside of the visor with the extrusion on the front of the bracket. 角かっこの下部にあるピンでインプレース HoloLens の腕を保持する必要があります。The HoloLens' arms should be kept in place by the pins on the bottom of the bracket.
  • 再アタッチして、HoloLens、角かっこをセキュリティで保護するフックの形の添付ファイル。Reattach the U and Hook-shaped attachments to secure the HoloLens to the bracket.
  • カメラの hotshoe に hotshoe fastener をアタッチします。Attach the hotshoe fastener to the hotshoe of your camera.
  • マウントのアダプターを hotshoe fastener にアタッチします。Attach the mount adapter to the hotshoe fastener.
  • 狭い側が転送に接続するためのアダプターとカメラのレンズに並列的に回転させます。Rotate the adapter so the narrow side is facing forward and parallel to the camera's lens.
  • 7/16 ナット ドライバーを使用して、1/4"ナッツと場所のアダプターをセキュリティで保護します。Secure the adapter in place with a 1/4" nut using the 7/16 nut driver.
  • HoloLens のハイパーバイザーの前面カメラのレンズの前にできるだけ近いので、アダプターに対して角かっこを配置します。Position the bracket against the adapter so the front of the HoloLens' visor is as close as possible to the front of the camera's lens.
  • 4 の 1/4"とは比べ物 7/16 ナット ドライバーを使用すると、角かっこをアタッチします。Attach the bracket with 4 1/4" nuts and bolts using the 7/16 nut driver.

PC のセットアップPC Setup

  • ソフトウェアのコンポーネント セクションからソフトウェアをインストールします。Install the software from the software components section.
  • マザーボード上の開いている PCIe スロットにキャプチャ カードを追加します。Add the capture card to an open PCIe slot on your motherboard.
  • 外部の HDMI スロットに、カメラからの HDMI ケーブル (HDMI) 上でキャプチャ カード。Plug an HDMI cable from your camera to the outer HDMI slot (HDMI-In) on the capture card.
  • 省略可能なプレビュー モニターにキャプチャ カードで center HDMI スロット (HDMI アウト) から HDMI ケーブルを接続します。Plug an HDMI cable from the center HDMI slot (HDMI-Out) on the capture card to an optional preview monitor.

カメラのセットアップCamera Setup

  • ビデオ モードをカメラが 3:4 写真の解像度、トリミングではなく、完全な解像度 1920 x 1080 で出力には、それを変更します。Change your camera to Video Mode so it outputs at the full 1920x1080 resolution rather than a cropped 3:4 photo resolution.
  • カメラの HDMI 設定を有効にする見つけてミラーリングまたはデュアル モニターします。Find your camera's HDMI settings and enable Mirroring or Dual Monitor.
  • 1080 P. に出力解像度を設定します。Set the output resolution to 1080P.
  • オフにするビューの画面にライブ画面のオーバーレイは、フィード、合成には表示されないようにします。Turn off Live View On Screen Display so any screen overlays do not appear in the composite feed.
  • カメラのライブ ビューします。Turn on your camera's Live View.
  • 使用する場合、 Canon SDK flash 単位を使用して、無効にしてサイレント LV 撮影します。If using the Canon SDK and would like to use a flash unit, disable Silent LV Shoot.
  • 外部の HDMI スロットにカメラからの HDMI ケーブル (HDMI) 上でキャプチャ カード。Plug an HDMI cable from the camera to the outer HDMI slot (HDMI-In) on the capture card.

調整Calibration

Spectator ビュー リモート テスト マシン群を設定した後、HoloLens にカメラの位置と回転のオフセットを取得するために調整する必要があります。After setting up your spectator view rig, you must calibrate in order to get the position and rotation offset of your camera to your HoloLens.

  • Calibration\Calibration.sln の下の調整の Visual Studio ソリューションを開きます。Open the Calibration Visual Studio solution under Calibration\Calibration.sln.
  • このソリューションでは、ファイル dependencies.props inc の場所については、サード パーティのソースのマクロを作成します。 これが表示されます。In this solution, you will find the file dependencies.props which creates macros for the inc locations of the 3rd party sources.
  • このファイルを更新する場所をインストールした OpenCV 3.1、Blackmagic SDK、および Canon SDK (該当する場合)Update this file with the location you installed OpenCV 3.1, the Blackmagic SDK, and the Canon SDK (if applicable)

Visual Studio での依存関係の場所のスナップショットDependency locations snapshot in Visual Studio
Visual Studio での依存関係の場所のスナップショットDependency locations snapshot in Visual Studio

  • フラット、剛体の画面で、調整パターン Calibration\CalibrationPatterns\2_66_grid_FULL.png を出力します。Print out the calibration pattern Calibration\CalibrationPatterns\2_66_grid_FULL.png on a flat, rigid surface.
  • お使いの PC に、HoloLens を USB 経由で接続します。Plug your HoloLens into your PC over USB.
  • プリプロセッサの定義を更新HOLOLENS_USERHOLOLENS_PWstdafx.h HoloLens のデバイス ポータルの資格情報を使用します。Update the preprocessor definitions HOLOLENS_USER and HOLOLENS_PW in stdafx.h with your HoloLens' device portal credentials.
  • HDMI 経由でキャプチャ カード、カメラを接続し、オンにします。Attach your camera to your capture card over HDMI and turn it on.
  • 調整のソリューションを実行します。Run the Calibration solution.
  • このようなビューを囲むチェッカー ボード パターンを移動します。Move the checkerboard pattern around the view like this:

Spectator ビュー Pro リモート テスト マシン群の調整Calibrating the Spectator View Pro rig
Spectator ビュー Pro リモート テスト マシン群の調整Calibrating the Spectator View Pro rig

  • チェッカーがビューに表示するとき、画像が自動的に実行されます。A picture will automatically be taken when a checkerboard is in view. [次へ] の姿勢を進める前に、HoloLens のハイパーバイザー上の白いライトを探します。Look for the white light on the HoloLens' visor before advancing to the next pose.
  • 完了したら、次のようにキーを押しますEnter調整でアプリを作成するフォーカスで、 CalibrationData.txtファイル。When finished, press Enter with the Calibration app in focus to create a CalibrationData.txt file.
  • このファイルに保存されますDocuments\CalibrationFiles\CalibrationData.txtThis file will be saved to Documents\CalibrationFiles\CalibrationData.txt
  • このファイルを調整データが正確かどうかを検査します。Inspect this file to see if your calibration data is accurate:
    • DSLR RMS 0 に近いする必要があります。DSLR RMS should be close to 0.
    • HoloLens RMS 0 に近いする必要があります。HoloLens RMS should be close to 0.
    • ステレオ RMSが 20 50、これは許容可能なために、2 つのカメラの視野が異なる場合があります。Stereo RMS may be 20-50, this is acceptable since the field of view between the two cameras may be different.
    • 翻訳接続されたカメラのレンズを HoloLens のカメラからの距離です。Translation is the distance from the HoloLens' camera to the attached camera's lens. これは、メーターです。This is in meters.
    • 回転identity 近づく必要があります。Rotation should be close to identity.
    • DSLR_fov y の値は、レンズの焦点距離と、カメラの本文のトリミング要素から予想される垂直ビューのフィールドの近くにする必要があります。DSLR_fov y value should be close to the vertical field of view expected from your lens' focal length and any camera body crop factor.
  • 意味を理解する上記の値のいずれかが表示されない場合の再補正します。If any of the above values do not appear to make sense, recalibrate.
  • このファイルのコピー、資産Unity プロジェクトのディレクトリ。Copy this file to the Assets directory in your Unity project.

CompositorCompositor

コンポジターが Unity エディターのウィンドウとして実行される Unity 拡張機能です。The compositor is a Unity extension that runs as a window in the Unity editor. これを有効にするには、コンポジター Visual Studio ソリューションまず必要がありますを構築します。To enable this, the Compositor Visual Studio solution first needs to be built.

  • Compositor\Compositor.sln コンポジターの Visual Studio ソリューションを開くOpen the Compositor Visual Studio solution under Compositor\Compositor.sln
  • 上記の調整のソリューションと同じ条件では、dependencies.props を更新します。Update dependencies.props with the same criteria from the Calibration solution above. 調整手順を実行する場合、このファイルは既に更新されました。If you followed the calibration steps, this file will already have been updated.
  • リリースと Unity のバージョンのアーキテクチャに合致するアーキテクチャ ソリューション全体をビルドします。Build the entire solution as Release and the architecture that matches your Unity version's architecture. 不明な場合に、x86 と x64 の両方をビルドします。If in doubt, build both x86 and x64.
  • X64 用のソリューションをビルドした場合は、HoloLens 上で実行されますので、x86 として SpatialPerceptionHelper プロジェクトをビルドもします。If you built the solution for x64, also build the SpatialPerceptionHelper project as x86 since it will run on the HoloLens.
  • アプリケーションが実行されている場合は、Unity を閉じます。Close Unity if it is running your application. Unity は、実行時に Dll が変更された場合は再起動する必要があります。Unity needs to be relaunched if DLLs are changed at runtime.
  • Unity プロジェクトにこのソリューションからビルドされた Dll をコピーする Compositor\CopyDLL.cmd を実行します。Run Compositor\CopyDLL.cmd to copy the DLLs built from this solution to your Unity project. このスクリプトは、含まれているサンプル プロジェクトに Dll をコピーします。This script will copy the DLLs to the included sample project. 独自のプロジェクトを設定した後もコピーして、プロジェクトの Assets ディレクトリを指すコマンドライン引数を指定して CopyDLL を行うことができます。Once you have your own project set up, you can run CopyDLL with a command line argument pointing to your project's Assets directory to copy there as well.
  • サンプルの Unity アプリを起動します。Launch the sample Unity app.

Unity アプリUnity app

Unity エディターのウィンドウとして、コンポジターが実行されます。The compositor runs as a window in the Unity Editor. 含まれているサンプル プロジェクトには、spectator 表示を 1 回のコンポジターの Dll がコピー操作にするよう設定すべてが含まれます。The included sample project has everything set up to work with spectator view once the compositor DLLs are copied.

Spectator ビューが、アプリケーションとして実行する必要があります、エクスペリエンスを共有します。Spectator view requires the application to be run as a shared experience. つまり、HoloLens で発生するアプリケーションの状態の変更は、Unity でも実行されているアプリを更新するネットワーク経由で接続する必要があります。This means that any application state changes that happen on the HoloLens need to be networked to update the app running in Unity too.

新しい Unity プロジェクトから開始する場合は最初にいくつかの設定を行う必要があります。If starting from a new Unity project, you will need to do some setup first:

  • コピー資産/アドオン/HolographicCameraRigをプロジェクトにサンプル プロジェクトから。Copy Assets/Addons/HolographicCameraRig from the sample project to your project.
  • 最新の MixedRealityToolkit をプロジェクトに追加を含む共有csc.rspgmcs.rsp、およびsmcs.rspします。Add the latest MixedRealityToolkit to your project, including Sharing, csc.rsp, gmcs.rsp, and smcs.rsp.
  • 追加、 CalibrationData.txt Assets ディレクトリにファイル。Add your CalibrationData.txt file to your Assets directory.

Unity のアセットのディレクトリのスナップショット

  • 追加、 HolographicCameraRig\Prefabs\SpectatorViewManager prefab シーンにし、フィールドに入力します。Add the HolographicCameraRig\Prefabs\SpectatorViewManager prefab to your scene and fill in the fields:
    • HolographicCameraManager HolographicCameraRig プレハブ ディレクトリから HolographicCameraManager プレハブを設定する必要があります。HolographicCameraManager should be populated with the HolographicCameraManager prefab from the HolographicCameraRig prefab directory.
    • アンカー HolographicCameraRig プレハブ ディレクトリからアンカー プレハブを設定する必要があります。Anchor should be populated with the Anchor prefab from the HolographicCameraRig prefab directory.
    • 共有MixedRealityToolkit から共有プレハブを設定する必要があります。Sharing should be populated with the Sharing prefab from the MixedRealityToolkit.
    • 注:プロジェクト階層で既にがあるこれらのプレハブの場合はこれらのものではなく既存のプレハブが使用されます。Note: If any of these prefabs already exist in your project hierarchy, the existing prefabs will be used instead of these ones.
    • Spectator ビュー IP spectator ビュー リモート テスト マシン群にアタッチされている、HoloLens の ip アドレスにする必要があります。Spectator View IP should be the IP of your HoloLens attached to your spectator view rig.
    • 共有サービスの IP MixedRealityToolkit SharingService を実行している PC の ip アドレスにする必要があります。Sharing Service IP should be the IP of the PC running the MixedRealityToolkit SharingService.
    • 省略可能: 複数の spectator が複数の PC に接続されているリモート テスト マシン群を表示した場合のローカル コンピューターの IP spectator ビューのリモート テスト マシン群が通信する PC に設定する必要があります。Optional: If you have multiple spectator view rigs attached to multiple PC's, Local Computer IP should be set with the PC the spectator view rig will communicate with.

Unity で spectator ビュー マネージャーのプロパティ

  • 開始、MixedRealityToolkit共有サービスStart the MixedRealityToolkit Sharing Service
  • ビルドおよび spectator ビューのリモート テスト マシン群に接続されている、HoloLens に D3D の UWP アプリを展開します。Build and deploy the app as a D3D UWP to the HoloLens attached to the spectator view rig.
  • エクスペリエンスで他の HoloLens デバイスにアプリをデプロイします。Deploy the app to any other HoloLens devices in the experience.
  • チェック、バック グラウンドで実行下のチェック ボックス編集/プロジェクトの設定/プレーヤーします。Check the Run In Background checkbox under edit/project settings/player.

Unity で設定をバック グラウンドで実行します。

  • コンポジターのウィンドウを起動コンポジター/Spectator ビューLaunch the compositor window under Spectator View/Compositor

Unity で spectator ビューのコンポジターの表示

  • このウィンドウを使用するできます。This window allows you to:
    • ビデオの録画を開始します。Start recording video
    • 写真を撮るTake a picture
    • ホログラム不透明度を変更します。Change hologram opacity
    • (これはキャプチャ カードの待機時間に対応する色のタイムスタンプを調整) フレームのオフセットを変更します。Change the frame offset (which adjusts the color timestamp to account for capture card latency)
    • キャプチャに保存するディレクトリを開くOpen the directory the captures are saved to
    • (プロジェクト内に存在する SpatialMappingManager) 場合は、spectator ビュー カメラから空間マッピング データを要求します。Request spatial mapping data from the spectator view camera (if a SpatialMappingManager exists in your project)
    • シーンの複合ビューだけでなく色、ホログラム、およびアルファ チャネルを個別に視覚化します。Visualize the scene's composite view as well as color, holograms, and alpha channel individually.
    • カメラの電源をオンにします。Turn your camera on.
    • Unity でキーを押して再生します。Press play in Unity.
    • カメラを移動すると、Unity でホログラムにフィードのカメラの色の基準とした現実の世界にいる必要があります。When the camera is moved, holograms in Unity should be where they are in the real world relative to your camera color feed.

関連項目See also