Unreal 開発の概要
Mixed Reality アプリケーションを使い始めるのは大きなタスクです。 新しい概念、プラットフォーム、最先端のハードウェアは、障壁のように見えるかもしれません。 ただし、Unreal 開発者であれば、ラッキーです。 Unreal Engine 5 により、Windows Mixed Reality (VR) および HoloLens 2 (AR) デバイスが完全にサポートされるようになりました。
最新の Unreal Engine 4.27+ リリースには次のものが含まれます。
- Windows Mixed Reality (WMR) プラグインが OpenXR と Microsoft OpenXR プラグインに置き換えられました (マーケットプレ―ス または GitHub)
- OpenXR では WMR の機能パリティが提供されます
- クロス プラットフォーム開発用の Unified API
- OpenXR はエンジン内でのアプリケーション作成に利用できます。Microsoft OpenXR プラグインではすべての機能セットが利用可能
- Microsoft OpenXR プラグイン更新はエンジン内での更新ではなく、準備され次第リリースされます
- Graphics Tools Plugin for Unreal を使用して、パフォーマンスを維持しながら Mixed Reality アプリケーションの視覚的忠実性を向上させます
- Unreal 5.0 で HoloLensAR が削除されました
- World Locking Tools (5.0+) のサポート
- Azure Object Anchors (4.27+) のサポート
詳細については Unreal Engine 5.0 の リリースノートを参照してください。
Unreal 開発が初めての場合は、よくわからないまま開始しないでください。 Unreal のリソースを参照し、Unreal のマーケットプレースで資産を探してください。 Mixed Reality フォーラムと Unreal のドキュメントでサポートを見つけることもできます。 これらのリソースは、今日の Mixed Reality 市場におけるビルダーや問題ソルバーのコミュニティへのリンクです。
重要
Reverb G2 などのイマーシブ ヘッドセットに移植する必要がある既存の Unreal プロジェクトがある場合は、 移植に関するガイド を参照してください。
開発チェックポイント
次のチェックポイントを使用して、Unreal のゲームやアプリケーションを Mixed Reality の世界に移植することができます。 Holograms サンプル アプリケーションのデザインを調べていない場合、それをダウンロードして、Mixed Reality UX の基礎をよく理解しておくことをお勧めします。
1.はじめに
まず、HoloLens 2 開発用のツールをインストールする必要があります。 次に、チュートリアル シリーズに目を通し、Mixed Reality Toolkit、Mixed Reality アプリ用に適切に構成された開発環境、Unreal で実際に動作する MRTK プロジェクトについて、基本的な理解を得ます。 Unreal 4.26 を使用すると、HoloLens 2 用の OpenXR アプリを開発することもできます。
| Checkpoint | 結果 |
|---|---|
| 最新のツールをインストールする | 最新のバージョンの Unreal Engine をダウンロードしてインストールし、Mixed Reality 用のプロジェクトをセットアップできます |
| プロジェクトの設定 | Unreal Engine および MRTK の最新バージョンを入手します |
| 初めての HoloLens Unreal アプリケーションの作成 | 基本的な Mixed Reality アプリケーションを構築して、Unreal と HoloLens の開発体験を始めます |
| HoloLens 2 チュートリアル シリーズ | Unreal での Mixed Reality 開発の準備を整え、MRTK を使用して最初のアプリを作成し、HoloLens 2 にアプリをデプロイします |
| Unreal で OpenXR を使ってみる | Unreal Engine マーケットプレースから次のプラグインをインストールして有効にします。Microsoft Windows Mixed Reality プラグインが無効になっていることを確認します。 OpenXR で現在サポートされている機能の完全な一覧については、後述します。 |
2. コア構成要素
チュートリアル シリーズでは取り上げられていない Mixed Reality の主要な機能がいくつかあります。 これらの構成要素は、スタンドアロンの機能として利用することも、Mixed Reality Toolkit を介して利用することもできます。 そのすべてが一度に必要になるわけではありませんが、事前に確認することをお勧めします。 以下のコア構成要素について確認したら、Mixed Reality プロジェクトに統合できるさまざまな機能が用意されたツールボックスを使用できるようになります。
Unreal 用 Mixed Reality ツールキットは、Unreal での開発を高速化するために設計されたプラグインのセットです。 各プラグインには、イマーシブ エクスペリエンスをセットアップするためのコンポーネント、サンプル、ドキュメントが含まれています。
Unreal 用 UX Tools はリリースされる最初のプラグインあり、現在 HoloLens 2 でのみサポートされています。 このプラグインには、入力シミュレーション、ハンド インタラクション、表面吸着などの一般的な UX 機能の C++ コード、ブループリント、サンプル資産が含まれています。
Unreal 用 Graphics Tools は、パフォーマンス バジェットを維持しながら Mixed Reality アプリケーションの視覚的な忠実性を向上させるために作成されたコード、ブループリント、サンプルの資産が含まれる、UE ゲーム プラグインです。
| 機能 | 機能 |
|---|---|
| 入力シミュレーション | エディターでマウスとキーボードの入力を使用して、ヘッドマウント ディスプレイ (HMD) およびハンド トラッキング機能をシミュレートします |
| ハンド インタラクション | 多関節ハンド入力を使用して UX コンポーネントと対話します |
| 押しボタン | 低レベルのコンポーネントを通じてボタンのブループリントの状態を移行します |
| マニピュレーター | 片手または両手操作入力を使用してアクターを移動および回転します |
| 動作追従 | アクターまたはコンポーネントを別のコンポーネントの視野内に維持します |
Note
詳細については、 Unreal GitHub リポジトリの UX ツール をご確認ください。
3.高度な機能
Mixed Reality アプリケーションで何らかの役割を果たすその他の主要な機能は、追加のパッケージやセットアップなしで利用できます。 これらの機能は、MRTK がインストールされているかいないかに関係なく、Unreal プロジェクトに追加できます。 これらの高度な機能について確認したら、より複雑な Mixed Reality アプリを構築できるようになります。
| 機能 | 機能 |
|---|---|
| HoloLens カメラ | HoloLens デバイスで実行されているアプリから、Mixed Reality と現実世界のビジュアル コンテンツをキャプチャします |
| QR コード | 各コードの実際の位置の座標系を使用して、QR コードをホログラムとしてレンダリングします |
| WinRT | Unreal のビルド システムで使用できる WinRT コードを使って、個別のバイナリを作成します |
4。デバイスへのストリーミングと配置
まだ開発している間に HoloLens デバイスでアプリケーションをテストしたい場合は、Unreal エディターまたはパッケージ化された Windows 実行可能ファイルを使用して、PC から直接ストリーミングすることができます。
HoloLens 2 に Unreal アプリを初めて配置する場合は、Epic Launcher からサポート ファイルをダウンロードする必要があります。 これらのファイルをインストールしたら、Unreal エディターまたはデバイス ポータルからデプロイする準備が整います。
5。サービスの追加
開発作業のこの時点で、商用の配置に関してサービスの追加や手助けが必要になることがあります。 Azure Cloud Services を統合することで、プロジェクトを大幅にレベルアップできます。 Microsoft では、お客様が Mixed Reality に関する知識を深化、拡充できるように、いくつかの開始点をまとめています。
Azure Spatial Anchors (ASA) は、空間認識 Mixed Reality アプリケーションを構築するための、クロスプラットフォームのサービスです。 Azure Spatial Anchors を使用すると、複数デバイス間でのホログラフィック コンテンツのマッピング、保持、共有を、実世界のスケールで実現できます。
6. ロー コードの代替手段
Microsoft Dynamics 365 Guides は、Microsoft HoloLens 用の Mixed Reality アプリケーションです。必要なときに必要な場所でホログラフィックな指示を出すことによって、オペレーターが作業の流れを学習できるようにします。 これらの指示カードは作業を行う必要がある場所に視覚的にテザリングされ、画像、ビデオ、および 3D ホログラフィック モデルを含めることができます。
次の操作
開発者の仕事に終わりはありません。新しいツールや SDK について学ぶ場合は特にこれが当てはまります。 以降のセクションでは、既に終えた初級レベルの教材からは一歩進んだ領域について説明します。また、行き詰まった場合に役に立つリソースも紹介します。 これらのトピックとリソースは順番に並んでいるわけではないため、お好きなところから自由に参照することができます。
デバッグ
Visual Studio を使用してデバイスで実行しながらアプリケーションをデバッグする場合は、こちらの手順にしたがってください。
[パフォーマンス]
Mixed Reality 向けの開発には、プラットフォームに依存するパフォーマンス チェックポイントが含まれます。 安定した応答性の高いホログラムを表示するには、HoloLens 2 アプリを 1 秒あたり 60 フレームで実行する必要があります。 さいわい、Unreal アプリケーションでパフォーマンスをアップグレードするためのパフォーマンスに関する推奨事項が用意されています。
サポートされている機能
| HoloLens 2 の機能 | サポートする最も古い Unreal Engine のバージョン | OpenXR でのサポート (4.26+) |
|---|---|---|
| ARM64 のサポート | 4.23 | ✔️ |
| PC からのストリーミング | 4.23 | ✔️ |
| 空間マッピング | 4.23 | ✔️ |
| 手と関節の追跡 | 4.23 | ✔️ |
| 視線追跡 | 4.23 | ✔️ |
| 音声入力 | 4.23 | ✔️ |
| 空間アンカー | 4.23 | ✔️ |
| カメラへのアクセス | 4.23 | ✔️ |
| QR コード | 4.23 | ✔️ |
| 空間オーディオ | 4.23 | ✔️ |
| ストリーミングに対する Planar LSR | 4.24 | |
| サンプル アプリ | 4.24 | ✔️ |
| モバイル マルチビュー: パフォーマンス ヒット 60 fps | 4.25 | ✔️ |
| パッケージ化されたデスクトップ アプリからのストリーミング | 4.25.1 | ✔️ |
| Azure Spatial Anchors for HoloLens 2 | 4.25 | ✔️ |
| Mixed Reality UX Tools のサポート | 4.25 | ✔️ |
| 開発者向けドキュメントおよびチュートリアル | 4.25 | ✔️ |
| システム キーボード | 4.26 | ✔️ |
| HoloLens Media Player プラグイン | 4.26 | ✔️ |
| iOS および Android 用の Azure Spatial Anchors | 4.26 | |
| Microsoft ベンダー固有の OpenXR 拡張機能を備えた Microsoft OpenXR プラグイン | 4.26 | ✔️ |
| Azure から HoloLens 2 へのストリーミング | 4.26 | ✔️ |
| パッケージ アプリの Windows アプリ認定キット コンプライアンス | 4.26 | ✔️ |
| HP Reverb G2 コントローラーのサポート | 4.26 | ✔️ |