Mixed Reality Toolkit とはWhat is the Mixed Reality Toolkit

Mixed Reality ツールキット


MRTK-Unity は、一連のコンポーネントと機能を提供する Microsoft 主導のプロジェクトで、Unity でクロスプラットフォームの MR アプリの開発時間を短縮するために使用されます。MRTK-Unity is a Microsoft-driven project that provides a set of components and features, used to accelerate cross-platform MR app development in Unity. その機能の一部を次に示します。Here are some of its functions:

  • 空間操作および UI 用のクロスプラットフォーム入力システムと構成要素 が提供されます。Provides the cross-platform input system and building blocks for spatial interactions and UI.
  • エディター内シミュレーションを通じて プロトタイプの迅速な作成 を実現し、変更を即座に確認できるようになります。Enables rapid prototyping via in-editor simulation that allows you to see changes immediately.
  • 開発者がコア コンポーネントを交換できる 拡張可能なフレームワーク として動作します。Operates as an extensible framework that provides developers the ability to swap out core components.
  • 次のような 幅広い範囲のプラットフォームをサポート します。Supports a wide range of platforms:
プラットフォームPlatform サポートされているデバイスSupported Devices
OpenXR (Unity 2020.3.8 以降)OpenXR (Unity 2020.3.8+) Microsoft HoloLens 2Microsoft HoloLens 2
Windows Mixed Reality ヘッドセットWindows Mixed Reality headsets
Windows Mixed RealityWindows Mixed Reality Microsoft HoloLensMicrosoft HoloLens
Microsoft HoloLens 2Microsoft HoloLens 2
Windows Mixed Reality ヘッドセットWindows Mixed Reality headsets
Oculus (Unity 2019.3 以降)Oculus (Unity 2019.3 or newer) Oculus QuestOculus Quest
OpenVROpenVR Windows Mixed Reality ヘッドセットWindows Mixed Reality headsets
HTC ViveHTC Vive
Oculus RiftOculus Rift
Ultraleap ハンド トラッキングUltraleap Hand Tracking Ultraleap Leap Motion コントローラーUltraleap Leap Motion controller
モバイルMobile iOS と AndroidiOS and Android
プラットフォームPlatform サポートされているデバイスSupported Devices
OpenXR (MRTK 2.6、Unity 2020.3.8 以降でのプレビュー)OpenXR (Preview in MRTK 2.6, Unity 2020.3.8+) Microsoft HoloLens 2Microsoft HoloLens 2
Windows Mixed Reality ヘッドセットWindows Mixed Reality headsets
Windows Mixed RealityWindows Mixed Reality Microsoft HoloLensMicrosoft HoloLens
Microsoft HoloLens 2Microsoft HoloLens 2
Windows Mixed Reality ヘッドセットWindows Mixed Reality headsets
Oculus (Unity 2019.3 以降)Oculus (Unity 2019.3 or newer) Oculus QuestOculus Quest
OpenVROpenVR Windows Mixed Reality ヘッドセットWindows Mixed Reality headsets
HTC ViveHTC Vive
Oculus RiftOculus Rift
Ultraleap ハンド トラッキングUltraleap Hand Tracking Ultraleap Leap Motion コントローラーUltraleap Leap Motion controller
モバイルMobile iOS と AndroidiOS and Android

MRTK の概要Getting started with MRTK

Unity での MRTK または Mixed Reality 開発が初めての場合は、お使いのデバイスまたはエミュレーターに MRTK Examples Hub のサンプル アプリケーションをインストール、検索することをお勧めします。If you're new to MRTK or Mixed Reality development in Unity, we recommend installing and exploring the MRTK Examples Hub sample application on your device or emulator.

Mixed Reality と MRTK が提供する必要のある機能が停止したら、必要なツールをインストールし、初級レベルの HoloLens 2 チュートリアル シリーズに従ってください。Once you've got the hang of what Mixed Reality and MRTK has to offer, install the necessary tools and follow our beginner level HoloLens 2 tutorial series.

内部的なしくみを確認したい場合は、次を参照してください。Want to see what's going on under the hood?

ドキュメントDocumentation

リリース ノートRelease notes
リリース ノートRelease Notes
MRTK の概要MRTK Overview
MRTK の概要MRTK Overview
API リファレンスAPI Reference
API リファレンスAPI Reference

ビルドの状態Build status

[Branch](ブランチ)Branch CI の状態CI Status ドキュメントの状態Docs Status
main CI の状態CI Status ドキュメントの状態Docs Status

機能領域Feature areas

UX 構成要素UX building blocks

ボタン ボタンButton Button
HoloLens 2 の多関節ハンドを含む各種入力方法がサポートされているボタン コントロールA button control which supports various input methods, including HoloLens 2's articulated hand

境界コントロール 境界コントロールBounds Control Bounds Control
3D 空間内のオブジェクトを操作するための標準 UIStandard UI for manipulating objects in 3D space

オブジェクト マニピュレーター オブジェクト マニピュレーターObject Manipulator Object Manipulator
片手または両手でオブジェクトを操作するためのスクリプトScript for manipulating objects with one or two hands

スレート スレートSlate Slate
多関節ハンド入力によるスクロールがサポートされている 2D スタイルの平面2D style plane which supports scrolling with articulated hand input

システム キーボード システム キーボードSystem Keyboard System Keyboard
Unity でシステム キーボードを使用するサンプル スクリプトExample script of using the system keyboard in Unity

対話可能 対話可能Interactable Interactable
視覚的な状態とテーマのサポートを使用してオブジェクトを対話型にするためのスクリプトA script for making objects interactable with visual states and theme support

ソルバー ソルバーSolver Solver
追従、本体ロック、ビュー サイズの固定、表面吸着など、さまざまなオブジェクトの配置動作Various object positioning behaviors such as tag-along, body-lock, constant view size and surface magnetism

オブジェクト コレクション オブジェクト コレクションObject Collection Object Collection
多数のオブジェクトを 3 次元形状で並べるためのスクリプトScript for laying out an array of objects in a three-dimensional shape

ツールヒント ツールヒントTooltip Tooltip
モーション コントローラーとオブジェクトのラベル付けに使用できる、柔軟なアンカーおよびピボット システムを備えた注釈 UIAnnotation UI with a flexible anchor/pivot system, which can be used for labeling motion controllers and objects

スライダー スライダーSlider Slider
直接のハンド トラッキング操作がサポートされている、値調整のためのスライダー UISlider UI for adjusting values supporting direct hand tracking interaction

MRTK 標準シェーダー MRTK 標準シェーダーMRTK Standard Shader MRTK Standard Shader
MRTK の標準シェーダーでは、さまざまな Fluent デザイン要素とパフォーマンスがサポートされていますMRTK's Standard shader supports various Fluent design elements with performance

ハンド メニュー ハンド メニューHand Menu Hand Menu
ハンド制約ソルバーを使用した、クイック アクセス用のハンドロック UIHand-locked UI for quick access, using the Hand Constraint Solver

アプリ バー アプリ バーApp Bar App Bar
境界コントロールの手動アクティブ化のための UIUI for Bounds Control's manual activation

ポインター ポインターPointers Pointers
さまざまな種類のポインターについて説明しますLearn about various types of pointers

指先の視覚化 指先の視覚化Fingertip Visualization Fingertip Visualization
直接操作の信頼度を向上させる、指先の視覚的アフォーダンスVisual affordance on the fingertip which improves the confidence for the direct interaction

近くのメニュー 近くのメニューNear Menu Near Menu
近くの対話式操作のための移動メニュー UIFloating menu UI for the near interactions

空間認識の概要 空間認識ビューSpatial Awareness Getting started Spatial Awareness View
ホログラフィック オブジェクトが物理環境と相互作用するようにするMake your holographic objects interact with the physical environments

音声コマンド 音声コマンドVoice Command Voice Command
音声入力を統合するためのスクリプトと例Scripts and examples for integrating speech input

進行状況インジケーター 進行状況インジケーターProgress Indicator Progress Indicator
データの処理または操作を伝えるための視覚的インジケーターVisual indicator for communicating data process or operation

ダイアログ ダイアログDialog Dialog
ユーザーの確認または同意を求めるための UIUI for asking for user's confirmation or acknowledgement

ハンド コーチ ハンド コーチHand Coach Hand Coach
ジェスチャが学習されていない場合にユーザーをガイドするのに役立つコンポーネントComponent that helps guide the user when the gesture has not been taught

ハンド物理サービス ハンド物理サービス [試験段階]Hand Physics Service Hand Physics Service [Experimental]
ハンド物理サービスによって、剛体の衝突イベントおよび多関節ハンドとの対話が可能になりますThe hand physics service enables rigid body collision events and interactions with articulated hands

スクロール可能コレクション スクロール可能コレクションScrolling Collection Scrolling Collection
3D オブジェクトがネイティブでスクロールされるオブジェクト コレクションAn Object Collection that natively scrolls 3D objects

ドック ドック [試験段階]Dock Dock [Experimental]
ドックを使用すると、事前に定義された位置にオブジェクトを出し入れできますThe Dock allows objects to be moved in and out of predetermined positions

視線追跡: ターゲット選択 視線追跡: ターゲット選択Eye Tracking: Target Selection Eye Tracking: Target Selection
視線、音声、ハンドの入力を組み合わせて、シーン全体からホログラムをすばやく簡単に選択するCombine eyes, voice and hand input to quickly and effortlessly select holograms across your scene

視線追跡: ナビゲーション 視線追跡: ナビゲーションEye Tracking: Navigation Eye Tracking: Navigation
視線に基づいてテキストを自動でスクロールしたり、フォーカスされたコンテンツをなめらかに拡大したりする方法について説明しますLearn how to auto-scroll text or fluently zoom into focused content based on what you are looking at

視線追跡: ヒート マップ 視線追跡: ヒート マップEye Tracking: Heat Map Eye Tracking: Heat Map
アプリ内でユーザーが見ていたもののログ記録、読み込み、視覚化を行う例Examples for logging, loading and visualizing what users have been looking at in your app

[ツール]Tools

最適化ウィンドウ 最適化ウィンドウOptimize Window Optimize Window 依存関係ウィンドウ 依存関係ウィンドウDependency Window Dependency Window ビルド ウィンドウ ビルド ウィンドウBuild Window Build Window 入力記録 入力記録Input recording Input recording
Mixed Reality プロジェクトの構成を自動化してパフォーマンスを最適化しますAutomate configuration of Mixed Reality projects for performance optimizations アセット間の依存関係を分析し、使用されていないアセットを特定しますAnalyze dependencies between assets and identify unused assets Mixed Reality アプリケーションのエンド ツー エンド ビルド プロセスを構成および実行しますConfigure and execute an end-to-end build process for Mixed Reality applications エディターで頭の移動とハンド トラッキングのデータを記録および再生しますRecord and playback head movement and hand tracking data in editor

シーンの例Example scenes

MRTK には、MRTK の機能の使用方法を示すサンプルのシーンが用意されています。MRTK provides example scenes that demonstrate how to use MRTK's features. サンプル シーンは Assets/MRTK/Examples/Demos フォルダーにあります。You can find the example scenes under Assets/MRTK/Examples/Demos folder. サンプル シーンを取得して実行する方法については、シーンの例に関するページを参照してください。Read the Example scenes page to learn how to acquire and run example scenes. 手による操作のサンプル シーンは、対話式操作や UI 用の MRTK の構成要素の作業出発点として最適です。Hand Interaction Examples scene is a great place to start experiencing MRTK's building blocks for interactions and UI.

シーンの例 2Example Scene 2

MRTK Examples HubMRTK examples hub

MRTK Examples Hub では、各シーンを作成したりデプロイしたりせずに、MRTK の各種シーンの例を試すことができます。With the MRTK Examples Hub, you can try various example scenes in MRTK without building and deploying each scene. MR Feature Tool で "Mixed Reality Toolkit Examples" パッケージを選択することにより、HoloLens (x86)、HoloLens 2 (ARM)、および Windows Mixed Reality イマーシブ ヘッドセット (x64) 向けの事前構築済みアプリ パッケージをダウンロードできます。You can download pre-built app packages for HoloLens(x86), HoloLens 2(ARM), and Windows Mixed Reality immersive headsets(x64) by selecting the "Mixed Reality Toolkit Examples" package in the MR Feature Tool. Windows デバイス ポータルを使って HoloLens (第 1 世代) にアプリをインストールするようにしてください。Make sure to use the Windows Device Portal to install apps on HoloLens (1st gen). HoloLens 2 では、Microsoft Store アプリから MRTK Examples Hub をダウンロードしてインストールすることができます。On HoloLens 2, you can download and install MRTK Examples Hub through the Microsoft Store app.

MRTK のシーン システムとシーン切り替えサービスを使用してマルチシーン ハブを作成する方法の詳細については、Examples Hub の README ページを参照してください。See Examples Hub README page to learn about the details on creating a multi-scene hub with MRTK's scene system and scene transition service.

シーンの例ハブExample Scene Hub

MRTK を使用して作成されたサンプル アプリSample apps made with MRTK

要素の定期的なテーブルPeriodic Table of the Elements 銀河エクスプローラーGalaxy Explorer Surfaces サンプル アプリSurfaces sample app
Periodic Table of the Elements は、MRTK の入力システムと構成要素を使用して HoloLens およびイマーシブ ヘッドセット用のアプリ エクスペリエンスを作成する方法を示す、オープンソースのサンプル アプリです。Periodic Table of the Elements is an open-source sample app which demonstrates how to use MRTK's input system and building blocks to create an app experience for HoloLens and Immersive headsets. 移植のストーリーをご覧ください: 「MRTK v2 を使用して Periodic Table of the Elements アプリを HoloLens 2 に移植するRead the porting story: Bringing the Periodic Table of the Elements app to HoloLens 2 with MRTK v2 Galaxy Explorer は、元は 2016 年 3 月に HoloLens 'Share Your Idea' キャンペーンの一環として開発された、オープンソースのサンプル アプリです。Galaxy Explorer is an open-source sample app that was originally developed in March 2016 as part of the HoloLens 'Share Your Idea' campaign. Galaxy Explorer は、MRTK v2 を使用して、HoloLens 2 の新機能によって更新されました。Galaxy Explorer has been updated with new features for HoloLens 2, using MRTK v2. 次のストーリーをご覧ください: 「 HoloLens 2 用 Galaxy Explorer の作成Read the story: The Making of Galaxy Explorer for HoloLens 2 Surfaces は HoloLens 2 用のオープンソースのサンプル アプリです。視覚、音声、完全な多関節ハンド トラッキングを使用して、触覚が作られるしくみを調べることができます。Surfaces is an open-source sample app for HoloLens 2 which explores how we can create a tactile sensation with visual, audio, and fully articulated hand-tracking. 設計と開発の詳しいストーリーについては、Microsoft MR Dev Days のセッション「Surfaces アプリを使った学習」をご覧ください。Check out Microsoft MR Dev Days session Learnings from the Surfaces app for the detailed design and development story.

Mixed Reality Dev Days 2020 のセッションのビデオSession videos from Mixed Reality Dev Days 2020

MRDevDays 1MRDevDays 1 MRDevDays 3MRDevDays 3 MRDevDays 2MRDevDays 2
シンプルな MRTK アプリを、最初から最後まで作成する方法についてのチュートリアルです。Tutorial on how to create a simple MRTK app from start to finish. 対話式操作の概念と MRTK のマルチプラットフォーム機能について説明します。Learn about interaction concepts and MRTK’s multi-platform capabilities. 美しい Mixed Reality エクスペリエンスの構築に役立つ、MRTK の UX 構成要素について詳しく説明します。Deep dive on the MRTK’s UX building blocks that help you build beautiful mixed reality experiences. パフォーマンス ツール (MRTK および外部ツールの両方) を紹介し、MRTK 標準シェーダーの概要について説明します。An introduction to performance tools, both in MRTK and external, as well as an overview of the MRTK Standard Shader.

その他のセッション ビデオについては、Mixed Reality Dev Days に関する記事を参照してください。See Mixed Reality Dev Days to explore more session videos.

コミュニティに参加するEngage with the community

このプロジェクトは、「Microsoft のオープン ソースの倫理規定」を採用しています。This project has adopted the Microsoft Open Source Code of Conduct. 詳細については、倫理規定の FAQ のページを参照してください。また、追加の質問やコメントがある場合は opencode@microsoft.com にお問い合わせください。For more information, see the Code of Conduct FAQ or contact opencode@microsoft.com with any additional questions or comments.

Mixed Reality デベロッパー センターの便利なリソースUseful resources on the Mixed Reality Dev Center

見つける 見つけるDiscover Discover 設計 設計Design Design 開発 開発Develop Develop 配布) 配布Distribute) Distribute
HoloLens とイマーシブ ヘッドセット (VR) 向けの Mixed Reality エクスペリエンスを構築する方法を学習します。Learn to build mixed reality experiences for HoloLens and immersive headsets (VR). デザイン ガイドを入手します。Get design guides. ユーザー インターフェイスを構築します。Build user interface. 対話式操作と入力について学習します。Learn interactions and input. 開発ガイドを入手します。Get development guides. テクノロジを学習します。Learn the technology. 科学を理解します。Understand the science. 他のユーザー用にアプリを準備し、3D ランチャーの作成を検討します。Get your app ready for others and consider creating a 3D launcher.

Azure の便利なリソースUseful resources on Azure

Spatial AnchorsSpatial Anchors
Spatial AnchorsSpatial Anchors
Speech Services Speech ServicesSpeech Services Speech Services 視覚サービス 視覚サービスVision Services Vision Services
Spatial Anchors は、時間が経過しても複数のデバイス間で位置が維持されるオブジェクトを使用した Mixed Reality エクスペリエンスを作成できる、クロスプラットフォーム サービスです。Spatial Anchors is a cross-platform service that allows you to create Mixed Reality experiences using objects that persist their location across devices over time. 音声テキスト変換、話者認識、アプリケーションへの音声変換など Azure を利用した音声認識機能を検出、統合します。Discover and integrate Azure powered speech capabilities like speech to text, speaker recognition or speech translation into your application. コンピューター ビジョン、顔検出、感情認識、Video Indexer などのビジョン サービスを使用して画像またはビデオ コンテンツを特定、分析します。Identify and analyze your image or video content using Vision Services like computer vision, face detection, emotion recognition or video indexer.

貢献する方法How to contribute

MRTK に投稿する方法については、「投稿」を参照してください。Learn how you can contribute to MRTK at Contributing.

ヘルプの表示Getting help

MRTK に起因する問題が発生した場合、または何かを行う方法について質問がある場合は、いくつかのリソースが役に立ちます。If you run into issues caused by MRTK or otherwise have questions about how to do something, there are a few resources that can help: