Mixed Reality Toolkit とは

Mixed Reality ツールキット


MRTK-Unity は、一連のコンポーネントと機能を提供する Microsoft 主導のプロジェクトで、Unity でクロスプラットフォームの MR アプリの開発時間を短縮するために使用されます。 その機能の一部を次に示します。

  • 空間操作および UI 用のクロスプラットフォーム入力システムと構成要素 が提供されます。
  • エディター内シミュレーションを通じて プロトタイプの迅速な作成 を実現し、変更を即座に確認できるようになります。
  • 開発者がコア コンポーネントを交換できる 拡張可能なフレームワーク として動作します。
  • 次のような 幅広い範囲のプラットフォームをサポート します。
プラットフォーム サポートされているデバイス
OpenXR (Unity 2020.3.8 以降) Microsoft HoloLens 2
Windows Mixed Reality ヘッドセット
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Windows Mixed Reality ヘッドセット
Oculus (Unity 2019.3 以降) Oculus Quest
OpenVR Windows Mixed Reality ヘッドセット
HTC Vive
Oculus Rift
Ultraleap ハンド トラッキング Ultraleap Leap Motion コントローラー
モバイル iOS と Android
プラットフォーム サポートされているデバイス
OpenXR (MRTK 2.6、Unity 2020.3.8 以降でのプレビュー) Microsoft HoloLens 2
Windows Mixed Reality ヘッドセット
Windows Mixed Reality Microsoft HoloLens
Microsoft HoloLens 2
Windows Mixed Reality ヘッドセット
Oculus (Unity 2019.3 以降) Oculus Quest
OpenVR Windows Mixed Reality ヘッドセット
HTC Vive
Oculus Rift
Ultraleap ハンド トラッキング Ultraleap Leap Motion コントローラー
モバイル iOS と Android

注意

HoloLens 2 でフラッシュやストロボ効果が発生する Unity 2020.3.21f や 2020.3.22f は使用しないでください。 詳細については、このページを参照してください。

MRTK の概要

Unity での MRTK または Mixed Reality 開発が初めての場合は、お使いのデバイスまたはエミュレーターに MRTK Examples Hub のサンプル アプリケーションをインストール、検索することをお勧めします。

Mixed Reality と MRTK が提供する必要のある機能が停止したら、必要なツールをインストールし、初級レベルの HoloLens 2 チュートリアル シリーズに従ってください。

内部的なしくみを確認したい場合は、次を参照してください。

ドキュメント

リリース ノート
リリース ノート
MRTK の概要
MRTK の概要
API リファレンス
API リファレンス

ビルドの状態

[Branch](ブランチ) CI の状態 ドキュメントの状態
main CI の状態 ドキュメントの状態

機能領域

UX 構成要素

ボタン ボタン
HoloLens 2 の多関節ハンドを含む各種入力方法がサポートされているボタン コントロール

境界コントロール 境界コントロール
3D 空間内のオブジェクトを操作するための標準 UI

オブジェクト マニピュレーター オブジェクト マニピュレーター
片手または両手でオブジェクトを操作するためのスクリプト

スレート スレート
多関節ハンド入力によるスクロールがサポートされている 2D スタイルの平面

システム キーボード システム キーボード
Unity でシステム キーボードを使用するサンプル スクリプト

対話可能 対話可能
視覚的な状態とテーマのサポートを使用してオブジェクトを対話型にするためのスクリプト

ソルバー ソルバー
追従、本体ロック、ビュー サイズの固定、表面吸着など、さまざまなオブジェクトの配置動作

オブジェクト コレクション オブジェクト コレクション
多数のオブジェクトを 3 次元形状で並べるためのスクリプト

ツールヒント ツールヒント
モーション コントローラーとオブジェクトのラベル付けに使用できる、柔軟なアンカーおよびピボット システムを備えた注釈 UI

スライダー スライダー
直接のハンド トラッキング操作がサポートされている、値調整のためのスライダー UI

MRTK 標準シェーダー MRTK 標準シェーダー
MRTK の標準シェーダーでは、さまざまな Fluent デザイン要素とパフォーマンスがサポートされています

ハンド メニュー ハンド メニュー
ハンド制約ソルバーを使用した、クイック アクセス用のハンドロック UI

アプリ バー アプリ バー
境界コントロールの手動アクティブ化のための UI

ポインター ポインター
さまざまな種類のポインターについて説明します

指先の視覚化 指先の視覚化
直接操作の信頼度を向上させる、指先の視覚的アフォーダンス

近くのメニュー 近くのメニュー
近くの対話式操作のための移動メニュー UI

空間認識の概要 空間認識ビュー
ホログラフィック オブジェクトが物理環境と相互作用するようにする

音声コマンド 音声コマンド
音声入力を統合するためのスクリプトと例

進行状況インジケーター 進行状況インジケーター
データの処理または操作を伝えるための視覚的インジケーター

ダイアログ ダイアログ
ユーザーの確認または同意を求めるための UI

ハンド コーチ ハンド コーチ
ジェスチャが学習されていない場合にユーザーをガイドするのに役立つコンポーネント

ハンド物理サービス ハンド物理サービス [試験段階]
ハンド物理サービスによって、剛体の衝突イベントおよび多関節ハンドとの対話が可能になります

スクロール可能コレクション スクロール可能コレクション
3D オブジェクトがネイティブでスクロールされるオブジェクト コレクション

ドック ドック [試験段階]
ドックを使用すると、事前に定義された位置にオブジェクトを出し入れできます

視線追跡: ターゲット選択 視線追跡: ターゲット選択
視線、音声、ハンドの入力を組み合わせて、シーン全体からホログラムをすばやく簡単に選択する

視線追跡: ナビゲーション 視線追跡: ナビゲーション
視線に基づいてテキストを自動でスクロールしたり、フォーカスされたコンテンツをなめらかに拡大したりする方法について説明します

視線追跡: ヒート マップ 視線追跡: ヒート マップ
アプリ内でユーザーが見ていたもののログ記録、読み込み、視覚化を行う例

[ツール]

最適化ウィンドウ 最適化ウィンドウ 依存関係ウィンドウ 依存関係ウィンドウ ビルド ウィンドウ ビルド ウィンドウ 入力記録 入力記録
Mixed Reality プロジェクトの構成を自動化してパフォーマンスを最適化します アセット間の依存関係を分析し、使用されていないアセットを特定します Mixed Reality アプリケーションのエンド ツー エンド ビルド プロセスを構成および実行します エディターで頭の移動とハンド トラッキングのデータを記録および再生します

シーンの例

MRTK には、MRTK の機能の使用方法を示すサンプルのシーンが用意されています。 サンプル シーンは Assets/MRTK/Examples/Demos フォルダーにあります。 サンプル シーンを取得して実行する方法については、シーンの例に関するページを参照してください。 手による操作のサンプル シーンは、対話式操作や UI 用の MRTK の構成要素の作業出発点として最適です。

シーンの例 2

MRTK Examples Hub

MRTK Examples Hub では、各シーンを作成したりデプロイしたりせずに、MRTK の各種シーンの例を試すことができます。 MR Feature Tool で "Mixed Reality Toolkit Examples" パッケージを選択することにより、HoloLens (x86)、HoloLens 2 (ARM)、および Windows Mixed Reality イマーシブ ヘッドセット (x64) 向けの事前構築済みアプリ パッケージをダウンロードできます。 Windows デバイス ポータルを使って HoloLens (第 1 世代) にアプリをインストールするようにしてください。 HoloLens 2 では、Microsoft Store アプリから MRTK Examples Hub をダウンロードしてインストールすることができます。

MRTK のシーン システムとシーン切り替えサービスを使用してマルチシーン ハブを作成する方法の詳細については、Examples Hub の README ページを参照してください。

シーンの例ハブ

MRTK を使用して作成されたサンプル アプリ

要素の定期的なテーブル 銀河エクスプローラー Surfaces サンプル アプリ
Periodic Table of the Elements は、MRTK の入力システムと構成要素を使用して HoloLens およびイマーシブ ヘッドセット用のアプリ エクスペリエンスを作成する方法を示す、オープンソースのサンプル アプリです。 移植のストーリーをご覧ください: 「MRTK v2 を使用して Periodic Table of the Elements アプリを HoloLens 2 に移植する Galaxy Explorer は、元は 2016 年 3 月に HoloLens 'Share Your Idea' キャンペーンの一環として開発された、オープンソースのサンプル アプリです。 Galaxy Explorer は、MRTK v2 を使用して、HoloLens 2 の新機能によって更新されました。 次のストーリーをご覧ください: 「 HoloLens 2 用 Galaxy Explorer の作成 Surfaces は HoloLens 2 用のオープンソースのサンプル アプリです。視覚、音声、完全な多関節ハンド トラッキングを使用して、触覚が作られるしくみを調べることができます。 設計と開発の詳しいストーリーについては、Microsoft MR Dev Days のセッション「Surfaces アプリを使った学習」をご覧ください。

Mixed Reality Dev Days 2020 のセッションのビデオ

MRDevDays 1 MRDevDays 3 MRDevDays 2
シンプルな MRTK アプリを、最初から最後まで作成する方法についてのチュートリアルです。 対話式操作の概念と MRTK のマルチプラットフォーム機能について説明します。 美しい Mixed Reality エクスペリエンスの構築に役立つ、MRTK の UX 構成要素について詳しく説明します。 パフォーマンス ツール (MRTK および外部ツールの両方) を紹介し、MRTK 標準シェーダーの概要について説明します。

その他のセッション ビデオについては、Mixed Reality Dev Days に関する記事を参照してください。

コミュニティに参加する

  • Slack で MRTK に関する会話に参加します。 自動招待センダーを使用して Slack コミュニティに参加することができます。

  • Stack Overflow で、MRTK タグを使用して MRTK の使用に関する質問をします。

  • MRTK コード内に破損を見つけた場合は、既知のイシューを検索するか、新しいイシューを報告します。

  • MRTK への投稿に関する質問については、slack の mixed-reality-toolkit チャンネルにアクセスしてください。

このプロジェクトは、「Microsoft のオープン ソースの倫理規定」を採用しています。 詳細については、倫理規定の FAQ のページを参照してください。また、追加の質問やコメントがある場合は opencode@microsoft.com にお問い合わせください。

Mixed Reality デベロッパー センターの便利なリソース

見つける 見つける 設計 設計 開発 開発 配布) 配布
HoloLens とイマーシブ ヘッドセット (VR) 向けの Mixed Reality エクスペリエンスを構築する方法を学習します。 デザイン ガイドを入手します。 ユーザー インターフェイスを構築します。 対話式操作と入力について学習します。 開発ガイドを入手します。 テクノロジを学習します。 科学を理解します。 他のユーザー用にアプリを準備し、3D ランチャーの作成を検討します。

Azure の便利なリソース

Spatial Anchors
Spatial Anchors
Speech Services Speech Services 視覚サービス 視覚サービス
Spatial Anchors は、時間が経過しても複数のデバイス間で位置が維持されるオブジェクトを使用した Mixed Reality エクスペリエンスを作成できる、クロスプラットフォーム サービスです。 音声テキスト変換、話者認識、アプリケーションへの音声変換など Azure を利用した音声認識機能を検出、統合します。 コンピューター ビジョン、顔検出、感情認識、Video Indexer などのビジョン サービスを使用して画像またはビデオ コンテンツを特定、分析します。

貢献する方法

MRTK に投稿する方法については、「投稿」を参照してください。

ヘルプの表示

MRTK に起因する問題が発生した場合、または何かを行う方法について質問がある場合は、いくつかのリソースが役に立ちます。