HoloLens Research モードHoloLens Research mode


この機能は、HoloLens 用のWindows 10 April 2018 更新プログラムの一部として追加されたものであり、以前のリリースでは使用できません。This feature was added as part of the Windows 10 April 2018 Update for HoloLens, and is not available on earlier releases.

Research モードは、デバイス上のキーセンサーへのアプリケーションアクセスを提供する HoloLens の新機能です。Research mode is a new capability of HoloLens that provides application access to the key sensors on the device. これには次が含まれます。These include:

  • マップの構築とヘッド追跡のためにシステムで使用される4つの環境追跡カメラ。The four environment tracking cameras used by the system for map building and head tracking.
  • 深度カメラデータの2つのバージョン (高周波数 (30 FPS) のほぼ詳細な検出、通常は手動での追跡、および空間マッピングで現在使用されている低頻度 (1 FPS) の詳細な検出のため)Two versions of the depth camera data – one for high-frequency (30 FPS) near-depth sensing, commonly used in hand tracking, and the other for lower-frequency (1 FPS) far-depth sensing, currently used by Spatial Mapping,
  • IR 反射反射ストリームの2つのバージョン。 HoloLens では深度を計算するために使用されますが、これらのイメージは HoloLens から照らされ、アンビエントライトによって適度に影響を受けないという利点があります。Two versions of an IR-reflectivity stream, used by the HoloLens to compute depth, but valuable in its own right as these images are illuminated from the HoloLens and reasonably unaffected by ambient light.

Research モードアプリのスクリーンショットResearch Mode app screenshot
リサーチモードで使用可能な8個のセンサーストリームを表示するテストアプリケーションの mixed reality キャプチャA mixed reality capture of a test application that displays the eight sensor streams available in Research mode

デバイスのサポートDevice support

機能Feature HoloLensHoloLens イマーシブ ヘッドセットImmersive headsets
リサーチモードResearch mode ✔️✔️

調査モードを使用する前にBefore using Research mode

リサーチモードは、"Computer Vision" と "ロボット" のフィールドの新しいアイデアを試す教育機関および産業用の研究者を対象としています。Research mode is well named: it is intended for academic and industrial researchers trying out new ideas in the fields of Computer Vision and Robotics. リサーチモードは、企業全体に展開されるか、Microsoft Store で利用可能になるアプリケーションを対象としたものではありません。Research mode is not intended for applications that will be deployed across an enterprise or made available in the Microsoft Store. その理由は、リサーチモードはデバイスのセキュリティを低下させ、通常の操作よりもはるかに多くのバッテリ電源を消費するためです。The reason for this is that Research mode lowers the security of your device and consumes significantly more battery power than normal operation. 今後のデバイスでは、このモードのサポートに対するコミットは行われません。Microsoft is not committing to supporting this mode on any future devices. そのため、新しいアイデアを開発してテストするために使用することをお勧めします。ただし、リサーチモードを使用するアプリケーションを広く展開することはできません。また、将来のハードウェアでも引き続き動作することが保証されています。Thus, we recommend you use it to develop and test new ideas; however, you will not be able to widely deploy applications that use Research mode or have any assurance that it will continue to work on future hardware.

リサーチモードを有効にするEnabling Research mode

リサーチモードは、開発者モードのサブモードです。Research mode is a sub-mode of developer mode. まず、設定アプリで開発者モードを有効にする必要があります (開発者向け & セキュリティ > の設定 > 更新)。You first need to enable developer mode in the Settings app (Settings > Update & Security > For developers):

  1. [開発機能の使用] を [オン] に設定します。Set "Use developer features" to On
  2. [デバイスポータルを有効にする] を [オン] に設定します。Set "Enable Device Portal" to On

次に、HoloLens と同じ Wi-fi ネットワークに接続されている web ブラウザーを使用して、HoloLens の IP アドレスに移動します (設定 > network & Internet > wi-fi > ハードウェアプロパティ)。Then using a web browser that is connected to the same Wi-Fi network as your HoloLens, navigate to the IP address of your HoloLens (obtained through Settings > Network & Internet > Wi-Fi > Hardware properties). これはデバイスポータルであり、ポータルの [システム] セクションに "リサーチモード" ページがあります。This is the Device Portal, and you will find a "Research mode" page in the "System" section of the portal:

HoloLens デバイスポータルの [リサーチモード] タブResearch Mode tab of HoloLens Device Portal
HoloLens デバイスポータルでのリサーチモードResearch mode in the HoloLens Device Portal

[センサーストリームへのアクセスを許可する] を選択した後、HoloLens を再起動する必要があります。After selecting Allow access to sensor streams, you will need to reboot HoloLens. これを行うには、デバイスポータルのページ上部にある [Power] (電源) メニュー項目を使用します。You can do this from the Device Portal, under the "Power" menu item at the top of the page.

デバイスが再起動されると、デバイスポータルから読み込まれたアプリケーションは、リサーチモードのストリームにアクセスできるようになります。Once your device has rebooted, applications that have been loaded through Device Portal should be able to access Research mode streams.

アプリでセンサーデータを使用するUsing sensor data in your apps

アプリケーションは、写真/ビデオカメラストリームにアクセスするのとまったく同じ方法でメディアファンデーションストリームを開くことによって、センサーストリームデータにアクセスできます。Applications can access sensor stream data by opening Media Foundation streams in exactly the same way they access the photo/video camera stream.

HoloLens 開発に使用できるすべての Api は、リサーチモードでも使用できます。All APIs that work for HoloLens development are also available when in Research mode. 特に、アプリケーションは、各センサーフレームのキャプチャ時間において HoloLens が6つの領域にある場所を正確に把握できます。In particular, the application can know precisely where HoloLens is in 6DoF space at each sensor frame capture time.

さまざまなリサーチモードのストリームにアクセスする方法、組み込みと extrを使用する方法、およびストリームを記録する方法を示すサンプルアプリケーションは、 HoloLensForCV GitHub リポジトリで入手できます。Sample applications showing how you access the various Research mode streams, how to use the intrinsics and extrinsics, and how to record streams are available in the HoloLensForCV GitHub repo.

既知の問題Known issues

HoloLensForCV リポジトリの問題トラッカーをご覧ください。See the issue tracker in the HoloLensForCV repository.

関連項目See also