Případová studie – Sestavení HoloSketchu, prostorového rozložení a aplikace pro skicování UX pro HoloLens

HoloSketch je nástroj pro prostorové rozložení a skicování uživatelského prostředí na zařízení pro HoloLens, který pomáhá vytvářet holografické prostředí. HoloSketch funguje s spárovanou klávesnicí a myší Bluetooth a také s gesty a hlasovými příkazy. Účelem HoloSketchu je poskytnout jednoduchý nástroj pro rozložení UX pro rychlou vizualizaci a iteraci.

HoloSketch: prostorové rozložení a aplikace pro skicování uživatelského prostředí pro HoloLens

Jednoduchý nástroj pro rozložení uživatelského prostředí pro rychlou vizualizaci a iteraci

Funkce

Primitiva pro rychlé studie a škálování prototypů

Používejte primitivní tvary pro rychlé studie masírování a vytváření prototypů v měřítku.

Import objektů přes OneDrive

Importujte obrázky PNG/JPG nebo 3D objekty FBX (vyžaduje balení v Unity) do prostoru hybridní reality prostřednictvím OneDrivu.

Manipulace s objekty

Manipulujte s objekty (přesunujte, otáčejte nebo škálujte) pomocí známého rozhraní 3D objektů.

Bluetooth, myš/klávesnice, gesta a hlasové příkazy

HoloSketch podporuje myš/klávesnici Bluetooth, gesta a hlasové příkazy.

Pozadí

Důležitost zobrazení návrhu v zařízení

Když navrhujete něco pro HoloLens, je důležité vyzkoušet si svůj návrh v zařízení. Jednou z největších výzev při návrhu aplikací pro hybridní realitu je, že je obtížné získat představu o měřítku, umístění a hloubce, zejména prostřednictvím tradičních 2D skic.

Náklady na 2D komunikaci

Aby návrhář mohl efektivně komunikovat toky a scénáře uživatelského prostředí s ostatními, může nakonec strávit spoustu času vytvářením prostředků pomocí tradičních 2D nástrojů, jako jsou Illustrator, Photoshop a PowerPoint. Tyto 2D návrhy často vyžadují další úsilí, aby je převely na 3D. V tomto překladu z 2D na 3D se ztratí některé nápady.

Složitý proces nasazení

Vzhledem k tomu, že hybridní realita je pro nás novým plátnem, zahrnuje spoustu iterací návrhu a pokusů a omylů ze své podstaty. Pro návrháře, kteří nejsou obeznámeni s nástroji, jako je Unity a Visual Studio, není snadné dát něco dohromady v HoloLensu. Pokud chcete zobrazit 2D/3D kresbu v zařízení, musíte obvykle projít níže uvedený postup. To byla velká bariéra pro návrháře, kteří rychle iterovali nápady a scénáře.

Proces nasazení

Zjednodušený proces pomocí HoloSketch

S HoloSketchem jsme chtěli tento proces zjednodušit, aniž bychom museli zahrnovat vývojové nástroje a párování portálu zařízení. Pomocí OneDrivu můžou uživatelé snadno vložit 2D/3D prostředky do HoloLensu.

Zjednodušený proces pomocí HoloSketch

Podpora trojrozměrného návrhového myšlení a řešení

Mysleli jsme si, že tento nástroj poskytne návrhářům příležitost zkoumat řešení ve skutečně trojrozměrném prostoru a neuvíznout ve 2D. Nemusí přemýšlet o vytvoření 3D pozadí pro své uživatelské rozhraní, protože pozadí je v případě HoloLensu skutečným světem. HoloSketch otevírá návrhářům způsob, jak snadno prozkoumat 3D návrh na HoloLensu.

Začínáme

Jak importovat 2D obrázky (JPG/PNG) do HoloSketch

• Nahrajte obrázky JPG/PNG do složky OneDrivu Documents/HoloSketch.
• V nabídce OneDrivu v HoloSketch budete moct vybrat a umístit image do prostředí.

Import obrázků a 3D objektů přes OneDrive

Import 3D objektů do HoloSketch

Před nahráním do složky OneDrive postupujte podle následujících kroků a zabalte 3D objekty do sady prostředků Unity. Pomocí tohoto procesu můžete importovat soubory FBX/OBJ z 3D softwaru, jako jsou Maya, Cinema 4D a Microsoft Malování 3D.

Důležité

V současné době se vytváření sad prostředků podporuje v Unity verze 5.4.5f1.

1. Stáhněte a otevřete projekt Unity "AssetBunlder_Unity". Tento projekt Unity obsahuje skript pro generování prostředků sady.

2. Vytvořte nový objekt GameObject.

3. Pojmenujte GameObject na základě obsahu.

4. Na panelu Inspektor klikněte na Přidat komponentu a přidejte uchycovač boxů.

   

   

5. Importujte 3D soubor FBX přetažením na panel projektu.

6. Přetáhněte objekt do panelu Hierarchie pod novým objektem GameObject.

   

7. Pokud neodpovídá objektu, upravte rozměr shodovače. Otočte objekt tak, aby se otočil na osu Z.

   

8. Přetáhněte objekt z panelu Hierarchie na panel Projekt, aby byl prefabní.

9. V dolní části panelu inspektoru klikněte na rozevírací seznam a vytvořte a přiřaďte nový jedinečný název. Níže uvedený příklad ukazuje přidání a přiřazení "brownchair" pro název AssetBundle.

   

10. Připravte miniaturu pro objekt modelu.

11. Ve složce Asset projektu Unity vytvořte složku s názvem Assetbundles.

12. V nabídce Assets (Prostředky) vyberte Build AssetBundles (Build AssetBundles) a vygenerujte soubor.

13. Nahrajte vygenerovaný soubor do složky /Files/Documents/HoloSketch na OneDrivu. Nahrajte jenom soubor asset_unique_name. Nemusíte nahrávat soubory manifestu ani soubory AssetBundles.
    .

Jak manipulovat s objekty

HoloSketch podporuje tradiční rozhraní, které se široce používá v 3D softwaru. Pomocí gest a myši můžete objekty přesouvat, otáčet a škálovat. Mezi různými režimy můžete rychle přepínat pomocí hlasu nebo klávesnice.

Režimy manipulace s objekty

Jak manipulovat s objekty

Kontextové nabídky a nabídky pásů nástrojů

Použití místní nabídky

Poklepáním vzduchem otevřete místní nabídku.

Položky nabídky:

• Rozložení povrchu: Jedná se o systém 3D mřížky, ve kterém můžete uspořádat více objektů a spravovat je jako skupinu. Poklepáním vzduchem na plochu rozložení přidáte objekty.
• Primitiv: Použití krychlí, koulí, válců a kuželů pro studium hmotnosti.
• OneDrive: Otevřete nabídku OneDrive pro import objektů.
• Pomoc: Zobrazí obrazovku nápovědy.

Místní nabídka

Použití nabídky pásů nástrojů

V nabídce Pás nástrojů jsou k dispozici scény přesunutí, otočení, škálování, uložení a načtení.

Používání klávesnice, gest a hlasových příkazů

Klávesnice, gesta a hlasové příkazy

Stažení aplikace

Stažení a instalace aplikace HoloSketch zdarma z Microsoft Storu

Známé problémy

• V současné době se vytváření sad prostředků podporuje v Unity verze 5.4.5f1.
• V závislosti na množství dat na OneDrivu se aplikace může při načítání obsahu OneDrivu zobrazovat, jako by se zastavila.
• Funkce Uložit a načíst v současné době podporuje pouze primitivní objekty.
• Nabídky Text, Zvuk, Video a Fotky jsou v místní nabídce zakázané.
• Tlačítko Přehrát v nabídce pásu nástrojů vymaže manipulací

Sdílení skic

Funkci nahrávání videa v HoloLensu můžete použít tak, že řeknete "Hey Cortana, Start/Stop recording". Pokud chcete vyfotit skicu, stiskněte klávesu pro zvýšení/snížení hlasitosti.

O autorech

	Yoon Park Designer @Microsoft uživatelského prostředí
Patrick Sebring Vývojářské @Microsoft