Myślenie inaczej dla Mixed Reality
Kiedy firma Microsoft uruchomiła urządzenie HoloLens (1. generacji) chętnym deweloperom w 2016 roku, zespół nawiązał już współpracę z studiami w firmie Microsoft i poza nim w celu utworzenia środowisk uruchamiania urządzenia. Te zespoły nauczyły się, wyszukując zarówno możliwości, jak i wyzwania w nowej dziedzinie projektowania rzeczywistości mieszanej.
Przekształciliśmy swoje metody i wgląd w program nauczania, który uczymy nowych deweloperów w naszej akademii Mixed Reality. Program nauczania obejmuje tygodniowe warsztaty projektowe, które oferujemy naszym partnerom korporacyjnym).
Poniżej przedstawiono migawkę wszystkiego, czego dowiedzieliśmy się, aby pomóc naszym partnerom w przygotowaniu swoich zespołów do opracowywania rzeczywistości mieszanej. Podczas gdy wiele z tych metod pierwotnie dotyczy programowania holoLens, wyobrażanie sobie i komunikowanie się w 3D ma kluczowe znaczenie dla pełnego spektrum środowisk rzeczywistości mieszanej.
Myślenie przestrzenne podczas procesu projektowania
Każdy proces projektowy lub struktura projektowa ma na celu iterację myślenia: aby szeroko podejść do problemu, aby efektywnie dzielić się pomysłami z innymi, oceniać te pomysły i osiągać rozwiązanie. Obecnie mamy dobrze ugruntowane metody projektowania i programowania do tworzenia środowisk na komputerach stacjonarnych, telefonach i tabletach. Zespoły mają jasne oczekiwania dotyczące tego, co jest konieczne, aby iterować pomysł i przekształcić go w produkt dla użytkowników.
Zespoły często składają się z kombinacji rozwiązań programistycznych, projektowych, badawczych i zarządzania. Wszystkie role powinny uczestniczyć w procesie projektowania. Barierą dla wpisu w celu współtworzenia pomysłu dla aplikacji mobilnej jest tak proste, jak rysowanie prostokąta na ekranie urządzenia. W międzyczasie szkicowanie elementów interfejsu użytkownika z polami i liniami wystarczy, aby ustalić wymagania techniczne lub zdefiniować potencjalne zachowanie użytkownika.
W rzeczywistości mieszanej tradycyjny proces projektowania 2D zaczyna się rozpadać. Szkicowanie w 3D jest trudne dla większości ludzi, a korzystanie z narzędzi 2D, takich jak pióro i papier lub tablice, często może ograniczać pomysły do tych wymiarów. Tymczasem narzędzia 3D, utworzone na potrzeby gier lub inżynierii, wymagają wysokiego stopnia umiejętności, aby szybko pracować pomysły. Brak lekkich narzędzi jest złożony przez niepewność techniczną związaną z nowymi urządzeniami, gdzie są nadal ustanawiane podstawowe metody interakcji. Te wyzwania mogą potencjalnie ograniczyć wkład projektu do członków zespołu z tłami programowania 3D — drastycznie zmniejszając zdolność zespołu do iteracji.
Zespoły z programu partnerskiego Mixed Reality w naszych warsztatach
Podczas pracy z partnerami zewnętrznymi słyszymy historie zespołów oczekujących na zakończenie prototypu przez dewelopera, zanim będą mogli kontynuować swój proces projektowania. Reszta zespołu jest wówczas potencjalnie zablokowana przed znaczącym postępem w produkcie. Deweloperzy kończą się całą odpowiedzialnością za rozwiązanie zarówno implementacji technicznej, jak i środowiska użytkownika, gdy próbują umieścić szorstki pomysł w kodzie.
Techniki rozszerzania procesu projektowania
Nasze zespoły w firmie Microsoft mają zestaw technik, aby skuteczniej uwzględnić swój zespół i szybko iterować przez złożone problemy projektowe. Chociaż nie jest to proces formalny, te techniki mają na celu uzupełnienie, a nie zastąpienie przepływu pracy. Te metody umożliwiają członkom zespołu bez wyspecjalizowanych umiejętności 3D oferowanie pomysłów przed rozpoczęciem fazy tworzenia prototypów. Różne role i dyscypliny mogą być częścią procesu projektowania, a nie tylko projektantów 3D i deweloperów. Odkrywanie możliwości i identyfikowanie możliwych wyzwań może wystąpić później w rozwoju.
Generowanie pomysłów za pomocą burzy ciała
Aby zespół zastanowił się nad wydarzeniami występującymi w świecie rzeczywistym, poza tradycyjnym światem urządzeń 2D, jest kluczem do opracowania innowacyjnych środowisk rzeczywistości mieszanej. W firmie Microsoft znaleźliśmy najlepsze wyniki, zachęcając do interakcji z fizycznymi rekwizytami w rzeczywistej przestrzeni. Przy użyciu prostych, tanich materiałów rzemieślniczych tworzymy fizyczne rekwizyty do reprezentowania obiektów cyfrowych, interfejsów użytkownika i animacji w proponowanym środowisku. Ta technika jest nazywana burzą ciała i od dziesięcioleci jest podstawą ide produktu w projekcie przemysłowym.
Simple, tanie materiały artystyczne używane w burzy ciała
Proste, fizyczne rekwizyty wyrównać szanse dla uczestników, umożliwiając osobom z różnymi umiejętnościami i tłami współtworzenie pomysłów i odkrywanie możliwości związanych z doświadczeniami rzeczywistości mieszanej zamiast bycia zablokowanym w myśleniu 2D. Podczas gdy prototypowanie techniczne lub tworzenie scenorysów o wysokiej wierności wymaga wykwalifikowanych deweloperów lub artystów 3D, kilka kulek styropianowych i kartonu może wystarczyć, aby pokazać, jak interfejs może rozwijać się w przestrzeni fizycznej. Te techniki mają zastosowanie zarówno do tworzenia rzeczywistości mieszanej z urządzeniem HoloLens, jak i immersywnymi zestawami słuchawkowymi. Na przykład zestaw łączników z tworzyw sztucznych może w przybliżeniu zilustrować rozmiar hologramów, które pojawiają się w środowisku HoloLens lub jako rekwizyty do działania na wchodzenie w interakcje elementów lub projektów ruchu w świecie wirtualnym.
Bodystorming to technika używana do szybkiego generowania pomysłów i oceniania pomysłów, które są zbyt mgławicowe do prototypu. W firmie Microsoft burza ciała jest najczęściej używana do szybkiego weryfikacji pomysłu. Może również pomóc zorganizować bardziej szczegółową sesję, jeśli zaangażujesz zewnętrznych uczestników projektu, którzy nie znają rozwoju rzeczywistości mieszanej lub muszą gorzelć szerokie scenariusze. Pamiętaj, że celem burzy ciała jest szybkie i wydajne, zachęcając uczestników do myślenia przestrzennego. Szczegółowe dzieła sztuki lub dokładne pomiary nie są ważne na tym etapie. Fizyczne rekwizyty muszą spełniać tylko minimalne wymagania dotyczące eksplorowania lub komunikowania się z pomysłem. Pomysły przedstawione przez burzę ciała nie powinny być w pełni zweryfikowane, ale proces może pomóc zawęzić możliwości testowania później podczas fazy prototypowania urządzenia. W związku z tym burza ciała nie zastępuje prototypowania technicznego, ale raczej równoważy obciążenie rozwiązywania zarówno wyzwań technicznych, jak i projektowych w fazie prototypowania.
Działania i opinie ekspertów
Po procesie burzy ciała pomysłów z obiektami fizycznymi w świecie rzeczywistym następnym krokiem jest przejście przez doświadczenie z tymi obiektami. Nazywamy tę fazę procesu działającego i często wiąże się to z przemieszczaniem sposobu przechodzenia użytkownika przez środowisko lub określoną interakcję.
Zespoły działające w scenariuszu podczas warsztatów
Działanie z fizycznymi rekwizytami pozwala uczestnikom doświadczyć perspektywy użytkownika, pozwalając obserwatorom zewnętrznym zobaczyć, jak zdarzenia się rozgrywają. Stanowi to idealny czas, aby uwzględnić szerszą publiczność członków zespołu lub uczestników projektu, którzy mogą przedstawić konkretne opinie "ekspertów". Na przykład jeśli eksplorujesz środowisko rzeczywistości mieszanej przeznaczone dla szpitali, zaprezentowanie sposobu myślenia specjalistom z branży medycznej może zapewnić bardzo cenne opinie. Innym przykładem jest to, że może wystąpić konkretne wyzwanie, które próbujesz zrozumieć, takie jak dźwięk przestrzenny lub budżetowanie pod kątem jakości zasobów i wydajności. W takich przypadkach działanie daje ekspertom szybką, szorstką koncepcję sposobu rozwoju środowiska bez konieczności tworzenia prototypu opartego na urządzeniach.
Tego rodzaju aktorstwo nie jest sformalizowane, bez konieczności wprowadzenia profesjonalnych talentów, ale w sytuacjach, w których chcemy podzielić się myśleniem z innymi, którzy nie są obecni, nagramy "scenę" interakcji lub dołączymy artystę scenorysu do obserwowania i szkicu kluczowych momentów. Działanie może być również lekkim działaniem, często dzieje się w miejscu podczas fazy burzy ciała. Podjęcie decyzji, która metoda do użycia zależy od odbiorców i wierności potrzebnej do wyświetlenia odpowiedniego typu opinii. Ostatecznie sprowadza się to do tego, co najbardziej skutecznie przechwytuje myślenie twojego zespołu.
Przechwytywanie pomysłów za pomocą scenorysów
Najlepsza metoda przekazywania pomysłów i koncepcji proponowanego środowiska zależy od zamierzonej grupy odbiorców, a typ opinii wymaga następnej iteracji. Podczas prezentowania nowych pomysłów członkom zespołu, niska wierność ponownego uchwalenia burzy ciała może wystarczyć, aby podnieść kogoś do prędkości. Podczas wprowadzania koncepcji doświadczenia do nowych uczestników projektu lub potencjalnych użytkowników najlepszym rozwiązaniem jest często tworzenie scenorysów. Scenorys jest techniką wspólną dla branży rozrywkowej, znalezioną za kulisami w filmach i tworzeniu gier wideo. Technika pomaga przekazać zarówno ogólny przepływ doświadczenia (przy niskiej wierności) i wygląd estetyczny i czuć (w wysokiej wierności). Podobnie jak w przypadku tworzenia prototypów, zrozumienie potrzeb wierności scenorysu jest kluczem do zebrania odpowiednich opinii i uniknięcia przeciwwydajnych dyskusji.
Przykład scenorysu o niskiej wierności
Scenorysy o niskiej wierności są właściwą wiernością do szybkich dyskusji, zwłaszcza podczas przekazywania pomysłów wysokiego poziomu. Mogą to być tak proste, jak rysunki na rysunkach trzymać i kształty pierwotne, aby oznaczyć elementy wirtualne w scenie lub bliskość składników interaktywnych (zarówno fizycznych, jak i wirtualnych). Chociaż są one przydatne, biorąc pod uwagę względną łatwość i niską barierę umiejętności do wykonania, pamiętaj o lekcji z burzy ciała: Nie każdy może zobaczyć obrazy 2D doświadczenia i zrozumieć implikacje 3D.
Przykład scenorysu o wysokiej wierności
Scenorysy o wysokiej wierności są zaawansowanym narzędziem podczas kierowania nowych uczestników projektu lub łączenia szczegółowych informacji z sesji burzy ciała z proponowanym estetycznym kierunkiem doświadczenia. Scenorysy mogą tworzyć tablice nastrojów, aby zilustrować końcowy wygląd środowiska wirtualnego i uchwycić kluczowe momenty, które mogą być kluczowe dla końcowego produktu. Pamiętaj, że scenorysy o wysokiej wierności często wymagają artysty, zwłaszcza jednego osadzonego w zespole, który może uchwycić trudne do opisania pomysły. W firmie Microsoft dodaliśmy artystów scenorysów, często z doświadczeniem w tworzeniu gier, do naszych zespołów rzeczywistości mieszanej, którzy uczestniczą w spotkaniach przygotowanych do szybkiego przechwytywania szkiców, które później zostaną rozwinięte w wyższą wierność makiety. Osoby te ściśle współpracują z artystami technicznymi, pomagając przekazać artystyczny kierunek aktywów używanych w ostatnim doświadczeniu.
Proces projektowania
Nasz proces zaczyna się od tablicy i lepkich notatek i rozszerza się na fizyczne burze ciała i działania. Następnie przełożymy to myślenie na scenorysy i coś, co nazywamy "koncepcją jednowierszową" (ogólne zdanie, które opisuje to, co robimy), zanim przejdziemy do tworzenia prototypów i zasobów. Nasza praca projektowa jest często fizyczna, zanim przejdziemy do fazy opracowywania.
Ogólny proces projektowania
Proces projektowania jest niechlujny, a każdy zespół jest inny. Jednak metody takie jak bodystorming, aktorstwo i scenorysy mogą pomóc złagodzić trudności w iteracji.
W rzeczywistości jej ciągłe fazy iteracyjne
Rozwijanie umiejętności twojego zespołu
Zmiana procesu w celu lepszego dopasowania do środowisk rzeczywistości mieszanej zależy od ściślejszego łączenia ról technicznych i projektowych. Pracując z partnerami w firmie Microsoft, widzieliśmy kilka zespołów, które pomyślnie przechodzą do programowania 3D i uważamy, że największą zaletą jest wyjście z strefy komfortu i rozwijanie umiejętności, które dają im większe zaangażowanie w całym procesie programowania (nie tylko ograniczając swoje umiejętności do projektowania lub programowania).
Opinie i iteracji są kluczem do każdego pomyślnego projektowania, a w przypadku środowisk rzeczywistości mieszanej tego rodzaju opinie często niesymetryczne do bardziej technicznych pojęć, zwłaszcza biorąc pod uwagę względną nazewność technologii i narzędzi rzeczywistości mieszanej. Tworzenie umiejętności zespołu projektowego w obszarach technicznych, w tym umiejętności z narzędziami takimi jak Unity lub Unreal, pomaga tym osobom lepiej zrozumieć podejście deweloperów i zapewnić bardziej efektywne opinie podczas tworzenia prototypów. Podobnie deweloperzy, którzy rozumieją podstawowe pojęcia środowiska użytkownika dotyczące środowisk rzeczywistości mieszanej (i potencjalne pułapki projektowe), mogą pomóc im oferować szczegółowe informacje o implementacji w wczesnych fazach planowania.
Zwykle otrzymujemy pytania od partnerów pracujących w rzeczywistości mieszanej o to, jak najlepiej rozwijać swoje zespoły i zestawy umiejętności za pomocą narzędzi 3D. Jest to trudne pytanie, na które należy odpowiedzieć, biorąc pod uwagę stan branży, ponieważ zespoły mają do czynienia z budowaniem jutrzejszych doświadczeń z wczorajszymi narzędziami. Wiele zespołów zbiera osoby z doświadczeniem w grach i rozrywkach, gdzie rozwój 3D był podstawą od dziesięcioleci. Zespoły zachęcają również swoje istniejące zespoły do zbierania narzędzi, takich jak Unity i oprogramowanie do modelowania 3D. Chociaż są to zarówno podstawowe potrzeby w celu spełnienia podstaw środowisk rzeczywistości mieszanej dzisiaj, prawdopodobnie będzie wiele wyspecjalizowanych narzędzi i umiejętności, które pomogą w tworzeniu przyszłych przełomowych aplikacji.
Pole projektowania rzeczywistości mieszanej zawsze się zmienia, a bardziej koncentruje się na danych i usługach w chmurze w środowiskach holograficzne. Ta następna generacja środowisk skorzysta z zaawansowanego przetwarzania języka naturalnego i przetwarzania obrazów w czasie rzeczywistym oraz bardziej z natury społecznych scenariuszy w środowiskach immersyjnych. Na przykład środowiska w rzeczywistości wirtualnej pozwalają projektantom tworzyć pomysłowe środowiska i przestrzenie, wymagając zestawu umiejętności bardziej podobny do architektury lub psychologii, a nie tradycyjnego projektowania interfejsu. Możesz też rozważyć doświadczenia w świecie rzeczywistym z urządzeniem HoloLens, gdzie przypadki użycia często obejmują wysoce wyspecjalizowane pola, takie jak medycyna, inżynieria lub produkcja, gdzie określone środowiska i dane w czasie rzeczywistym są istotnymi elementami doświadczenia. Praca między rolami przy użyciu zarówno wiedzy projektowej, jak i specjalistycznej oraz gotowość do uczenia się nowych narzędzi jest bezcenna dla zespołów pracujących w rzeczywistości mieszanej.
Pomaganie zespołowi w szybkim i efektywnym eksplorowanie rzeczywistości mieszanej
We wczesnych dniach holoLens te techniki wyszły z konieczności, ponieważ wczesny sprzęt prototypowy urządzenia okazał się mniej niż idealnym formatem do szybkiego iterowania przez pomysły projektowe. Metody interakcji, w tym podstawowy interfejs użytkownika w systemie operacyjnym, zostały zbadane za pomocą burzy ciała, podczas gdy działanie pomogło naszemu zespołowi użyteczności zrozumieć podstawowe zachowania użytkowników w scenariuszach w miejscu pracy. W końcu zespół ustanowił silny punkt odniesienia dla podstawowego środowiska użytkownika holoLens, komunikując koncepcje między rolami zespołu i umożliwiając programowanie systemu operacyjnego szybko równolegle z opracowywaniem sprzętu.
Niezależnie od tego, czy jest to burza ciała, działanie, przegląd z ekspertami, czy scenorys, te techniki mają zaoszczędzić czas i wysiłek. Chociaż w pierwszych dniach rozwoju holoLens i rzeczywistości wirtualnej nadal jesteśmy bardzo bardzo, rozszerzenie procesu projektowania rzeczywistości mieszanej pomoże zespołowi spędzić energię eksplorując nowe i trudne problemy projektowe, a nie przekonując trudności podczas komunikowania się z pomysłami.
Przykładowa lista materiałów warsztatowych
Proste materiały artystyczne zapewniają członkom zespołu niezbędne narzędzia do wyjaśnienia pomysłów bez zaawansowanych umiejętności artystycznych. Oto przykład tego, co nasz zespół często używa podczas burzy ciała:
- Płyty styrofoamowe
- Kostki styrofoamowe
- Szyszki styrofoamowe
- Sfery styrofoamowe
- Kartony
- Drewniane kołki
- Lizaki kije
- Kartony
- Filiżanki papieru
- Taśma przewodowa
- Taśma maskowania
- Nożyce
- Spinacze
- Zaciski do wypełniania
- Po jego
- Sznurka
- Ołówki
- Sharpies
Następny punkt kontrolny odnajdywania
Gratulacje, udało Ci się ukończyć rdzeń Mixed Reality podróży odnajdywania! Możesz zobaczyć, jak partnerzy branżowi korzystają z Mixed Reality, eksplorują urządzenie HoloLens lub rozpocznij projektowanie lub podróż deweloperów: