Urządzenia HoloLens (1. generacji) i Azure 307: Uczenie maszynowe

Artykuł
01/17/2024

Uwaga

Samouczki Mixed Reality Academy zostały zaprojektowane z myślą o urządzeniach HoloLens (1. generacji) i Mixed Reality immersywnych zestawów słuchawkowych. W związku z tym uważamy, że ważne jest pozostawienie tych samouczków w miejscu dla deweloperów, którzy nadal szukają wskazówek dotyczących opracowywania dla tych urządzeń. Te samouczki nie zostaną zaktualizowane o najnowsze zestawy narzędzi ani interakcje używane na potrzeby HoloLens 2. Będą one utrzymywane w celu kontynuowania pracy na obsługiwanych urządzeniach. W przyszłości zostanie opublikowana nowa seria samouczków, które pokażą, jak opracowywać na potrzeby HoloLens 2. To powiadomienie zostanie zaktualizowane za pomocą linku do tych samouczków po ich opublikowaniu.

końcowy produkt - start

Z tego kursu dowiesz się, jak dodać możliwości uczenia maszynowego do aplikacji rzeczywistości mieszanej przy użyciu usługi Azure Machine Learning Studio (wersja klasyczna).

Azure Machine Learning Studio (wersja klasyczna) to usługa firmy Microsoft, która udostępnia deweloperom dużą liczbę algorytmów uczenia maszynowego, które mogą pomóc w danych wejściowych, wyjściowych, przygotowaniach i wizualizacjach. Na podstawie tych składników można następnie opracować eksperyment analizy predykcyjnej, wykonać iterację na nim i użyć go do wytrenowania modelu. Po trenowaniu możesz sprawić, że model działa w chmurze platformy Azure, aby umożliwić mu ocenę nowych danych. Aby uzyskać więcej informacji, odwiedź stronę usługi Azure Machine Learning Studio (wersja klasyczna).

Po ukończeniu tego kursu będziesz mieć aplikację zestawu nagłownego immersyjnego rzeczywistości mieszanej i nauczysz się wykonywać następujące czynności:

Podaj tabelę danych sprzedaży w portalu usługi Azure Machine Learning Studio (wersja klasyczna) i zaprojektuj algorytm w celu przewidywania przyszłej sprzedaży popularnych elementów.
Utwórz projekt aparatu Unity, który może odbierać i interpretować dane przewidywania z usługi ML.
Wyświetl dane predykacji wizualnie w projekcie aparatu Unity, udostępniając na półce najpopularniejsze elementy sprzedaży.

W aplikacji należy do Ciebie, jak zintegrować wyniki z projektem. Ten kurs jest przeznaczony do nauki integrowania usługi platformy Azure z projektem aparatu Unity. Twoim zadaniem jest wykorzystanie wiedzy zdobytą z tego kursu w celu ulepszenia aplikacji rzeczywistości mieszanej.

Ten kurs jest samodzielnym samouczkiem, który nie obejmuje bezpośrednio żadnych innych Mixed Reality Labs.

Obsługa urządzeń

Kurs	HoloLens	Immersyjne zestawy nagłowne
MR i Azure 307: Uczenie maszynowe	✔️	✔️

Uwaga

Chociaż ten kurs koncentruje się głównie na Windows Mixed Reality immersywnych zestawach słuchawkowych (VR), możesz również zastosować to, czego uczysz się w tym kursie, aby Microsoft HoloLens. Wraz z kursem zobaczysz notatki dotyczące wszelkich zmian, które mogą być konieczne do zastosowania w celu obsługi urządzenia HoloLens. Podczas korzystania z urządzenia HoloLens można zauważyć pewne echo podczas przechwytywania głosu.

Wymagania wstępne

Uwaga

Ten samouczek jest przeznaczony dla deweloperów, którzy mają podstawowe doświadczenie w językach Unity i C#. Należy również pamiętać, że wymagania wstępne i pisemne instrukcje zawarte w tym dokumencie reprezentują to, co zostało przetestowane i zweryfikowane w momencie pisania (maj 2018 r.). Możesz korzystać z najnowszego oprogramowania, jak wymieniono w artykule dotyczącym instalacji narzędzi, choć nie należy zakładać, że informacje w tym kursie doskonale pasują do tego, co znajdziesz w nowszym oprogramowaniu niż wymienione poniżej.

Na potrzeby tego kursu zalecamy następujący sprzęt i oprogramowanie:

Komputer deweloperów, zgodny z Windows Mixed Reality na potrzeby opracowywania immersywnych zestawów słuchawkowych (VR)
Windows 10 Fall Creators Update (lub nowszy) z włączonym trybem dewelopera
Najnowszy zestaw SDK Windows 10
Unity 2017.4
Visual Studio 2017
Zestaw słuchawkowy Windows Mixed Reality immersywny (VR) lub Microsoft HoloLens z włączonym trybem dewelopera
Dostęp do Internetu na potrzeby instalacji platformy Azure i pobierania danych uczenia maszynowego

Przed rozpoczęciem

Aby uniknąć problemów podczas tworzenia tego projektu, zdecydowanie zaleca się utworzenie projektu wymienionego w tym samouczku w folderze głównym lub niemal głównym (długie ścieżki folderów mogą powodować problemy w czasie kompilacji).

Rozdział 1 — Konfigurowanie konta usługi Azure Storage

Aby korzystać z interfejsu API usługi Azure Translator, należy skonfigurować wystąpienie usługi, które ma zostać udostępnione aplikacji.

Zaloguj się do witryny Azure Portal.

Uwaga

Jeśli nie masz jeszcze konta platformy Azure, musisz je utworzyć. Jeśli korzystasz z tego samouczka w sytuacji na potrzeby zajęć lub laboratorium, poproś instruktora lub jednego z opiekunów o pomoc przy konfigurowaniu nowego konta.
Po zalogowaniu kliknij pozycję Konta magazynu w menu po lewej stronie.

Uwaga

Wyraz Nowy mógł zostać zastąpiony ciągiem Create a resource (Utwórz zasób) w nowszych portalach.
Na karcie Konta magazynu kliknij pozycję Dodaj.
W panelu Tworzenie konta magazynu :
1. Wstaw nazwę konta, pamiętaj, że to pole akceptuje tylko cyfry i małe litery.
2. W obszarze Model wdrażania wybierz pozycję Resource Manager.
3. W polu Rodzaj konta wybierz pozycję Magazyn (ogólnego przeznaczenia w wersji 1)..
4. W obszarze Wydajność wybierz opcję Standardowa.
5. W obszarze Replikacja wybierz pozycję Magazyn geograficznie nadmiarowy dostępny do odczytu (RA-GRS).
6. Pozostaw wartość Wymagany bezpieczny transfer jako Wyłączony.
7. Wybierz subskrypcję.
8. Wybierz grupę zasobów lub utwórz nową. Grupa zasobów umożliwia monitorowanie, kontrolowanie dostępu, aprowizowania i zarządzania rozliczeniami dla kolekcji zasobów platformy Azure. Zaleca się zachowanie wszystkich usług platformy Azure skojarzonych z jednym projektem (np. takich jak te laboratoria) w ramach wspólnej grupy zasobów.
  
  Jeśli chcesz dowiedzieć się więcej na temat grup zasobów platformy Azure, odwiedź artykuł grupy zasobów.
9. Określ lokalizację grupy zasobów (jeśli tworzysz nową grupę zasobów). Lokalizacja najlepiej będzie znajdować się w regionie, w którym będzie uruchamiana aplikacja. Niektóre zasoby platformy Azure są dostępne tylko w niektórych regionach.
Musisz również potwierdzić, że rozumiesz warunki i postanowienia zastosowane do tej usługi.
Po kliknięciu pozycji Utwórz trzeba będzie poczekać na utworzenie usługi. Może to potrwać minutę.
Po utworzeniu wystąpienia usługi w portalu zostanie wyświetlone powiadomienie.

Rozdział 2 — Azure Machine Learning Studio (wersja klasyczna)

Aby korzystać z usługi Azure Machine Learning, należy skonfigurować wystąpienie usługi Machine Learning, które ma zostać udostępnione aplikacji.

W witrynie Azure Portal kliknij pozycję Nowy w lewym górnym rogu, a następnie wyszukaj ciąg Obszar roboczy usługi Machine Learning Studio, naciśnij klawisz Enter.
Nowa strona zawiera opis usługi Obszaru roboczego usługi Machine Learning Studio . W lewym dolnym rogu tego monitu kliknij przycisk Utwórz , aby utworzyć skojarzenie z tą usługą.
Po kliknięciu pozycji Utwórz zostanie wyświetlony panel, w którym musisz podać pewne szczegóły dotyczące nowej usługi Machine Learning Studio:
1. Wstaw żądaną nazwę obszaru roboczego dla tego wystąpienia usługi.
2. Wybierz subskrypcję.
3. Wybierz grupę zasobów lub utwórz nową. Grupa zasobów umożliwia monitorowanie, kontrolowanie dostępu, aprowizowania i zarządzania rozliczeniami dla kolekcji zasobów platformy Azure. Zaleca się zachowanie wszystkich usług platformy Azure skojarzonych z jednym projektem (np. takich jak te laboratoria) w ramach wspólnej grupy zasobów.
  
  Jeśli chcesz dowiedzieć się więcej na temat grup zasobów platformy Azure, odwiedź artykuł grupy zasobów.
4. Określ lokalizację grupy zasobów (jeśli tworzysz nową grupę zasobów). Lokalizacja najlepiej będzie znajdować się w regionie, w którym będzie uruchamiana aplikacja. Niektóre zasoby platformy Azure są dostępne tylko w niektórych regionach. Należy użyć tej samej grupy zasobów, która była używana do tworzenia usługi Azure Storage w poprzednim rozdziale.
5. W sekcji Konto magazynu kliknij pozycję Użyj istniejącej, a następnie kliknij menu rozwijane, a następnie kliknij konto magazynu utworzone w ostatnim rozdziale.
6. Wybierz odpowiednią warstwę cenową Obszaru roboczego z menu rozwijanego.
7. W sekcji Plan usługi sieci Web kliknij pozycję Utwórznową, a następnie wstaw nazwę w polu tekstowym.
8. W sekcji Warstwa cenowa planu usługi internetowej wybierz wybraną warstwę cenową. Warstwa testowania programistycznego o nazwie DEVTEST Standard powinna być dostępna bez opłat.
9. Musisz również potwierdzić, że rozumiesz warunki i postanowienia zastosowane do tej usługi.
10. Kliknij pozycję Utwórz.
Po kliknięciu pozycji Utwórz trzeba będzie poczekać, aż usługa zostanie utworzona, może to potrwać minutę.
Po utworzeniu wystąpienia usługi w portalu zostanie wyświetlone powiadomienie.
Kliknij powiadomienie, aby zapoznać się z nowym wystąpieniem usługi.
Kliknij przycisk Przejdź do zasobu w powiadomieniu, aby zapoznać się z nowym wystąpieniem usługi.
Na wyświetlonej stronie w sekcji Linki dodatkowe kliknij pozycję Uruchom usługę Machine Learning Studio, co spowoduje przekierowanie przeglądarki do portalu usługi Machine Learning Studio .
Użyj przycisku Zaloguj się w prawym górnym rogu lub w środku, aby zalogować się do usługi Machine Learning Studio (klasycznej).

Rozdział 3 — Machine Learning Studio (wersja klasyczna): Konfiguracja zestawu danych

Jednym ze sposobów działania algorytmów uczenia maszynowego jest analizowanie istniejących danych, a następnie próba przewidywania przyszłych wyników na podstawie istniejącego zestawu danych. Zazwyczaj oznacza to, że im więcej istniejących danych, tym lepiej algorytm będzie przewidywał przyszłe wyniki.

Przykładowa tabela jest dostarczana w tym kursie o nazwie ProductsTableCSV i można je pobrać tutaj.

Ważne

Powyższy plik .zip zawiera zarówno plik ProductsTableCSV , jak i plik unitypackage, który będzie potrzebny w rozdziale 6. Ten pakiet jest również udostępniany w tym rozdziale, choć oddzielony od pliku csv.

Ten przykładowy zestaw danych zawiera rekord najlepiej sprzedających się obiektów w każdej godzinie każdego dnia roku 2017.

Zrzut ekranu przedstawiający okno programu Microsoft Excel, w którym przedstawiono przykładowy zestaw danych najlepiej sprzedających się obiektów w każdej godzinie każdego dnia w roku 2017.

Na przykład w dniu 1 z 2017 r., o godzinie 13:00 (godzina 13), najlepiej sprzedającym się elementem była sól i pieprz.

Ta przykładowa tabela zawiera 9998 wpisów.

Wróć do portalu usługi Machine Learning Studio (klasycznego) i dodaj tę tabelę jako zestaw danych dla swojego uczenia maszynowego. Zrób to, klikając przycisk + Nowy w lewym dolnym rogu ekranu.
Sekcja pojawi się od dołu, a w niej znajduje się panel nawigacyjny po lewej stronie. Kliknij pozycję Zestaw danych, a następnie po prawej stronie pozycji Z pliku lokalnego.
Przekaż nowy zestaw danych , wykonując następujące kroki:
1. Zostanie wyświetlone okno przekazywania, w którym można przeglądać dysk twardy dla nowego zestawu danych.
2. Po wybraniu i powrocie do okna przekazywania pozostaw pole wyboru niezaznaczone.
3. W polu tekstowym poniżej wprowadź ProductsTableCSV.csv jako nazwę zestawu danych (choć należy je automatycznie dodać).
4. Z menu rozwijanego dla pozycji Typ wybierz pozycję Ogólny plik CSV z nagłówkiem (.csv).
5. Naciśnij znacznik w prawym dolnym rogu okna przekazywania, a zestaw danych zostanie przekazany.

Rozdział 4 — Machine Learning Studio (wersja klasyczna): Eksperyment

Zanim będzie można utworzyć system uczenia maszynowego, musisz utworzyć eksperyment, aby zweryfikować teorię dotyczącą danych. Z wynikami będziesz wiedzieć, czy potrzebujesz większej ilości danych, czy też nie ma korelacji między danymi a możliwym wynikiem.

Aby rozpocząć tworzenie eksperymentu:

Kliknij ponownie przycisk + Nowy w lewym dolnym rogu strony, a następnie kliknij pozycję Eksperyment>pusty eksperyment.
Zostanie wyświetlona nowa strona z pustym eksperymentem:
W panelu po lewej stronie rozwiń węzeł Zapisane zestawy danych Moje zestawy>danych i przeciągnij element ProductsTableCSV na kanwę eksperymentu.
W panelu po lewej stronie rozwiń węzeł Przykład przekształcania> danychi Podział. Następnie przeciągnij element Split Data (Podział danych ) na kanwę eksperymentu. Element Split Data (Podział danych) podzieli zestaw danych na dwie części. Jedna część, której będziesz używać do trenowania algorytmu uczenia maszynowego. Druga część zostanie użyta do oceny dokładności wygenerowanego algorytmu.
W prawym panelu (gdy jest zaznaczony element Podziel dane na kanwie), zmodyfikuj ułamek wierszy w pierwszym wyjściowym zestawie danych na 0,7. Spowoduje to podzielenie danych na dwie części, pierwsza część będzie wynosić 70% danych, a druga część to pozostałe 30%. Aby upewnić się, że dane są podzielone losowo, upewnij się, że pole wyboru Podział losowy pozostaje zaznaczone.
Przeciągnij połączenie z podstawy elementu ProductsTableCSV na kanwie do góry elementu Split Data (Podział danych). Spowoduje to połączenie elementów i wysłanie danych wyjściowych zestawu danych ProductsTableCSV (dane) do danych wejściowych split data.
W panelu Eksperymenty po lewej stronie rozwiń węzełUczeniemaszynowe>. Przeciągnij element Train Model (Trenowanie modelu ) na kanwę Eksperyment. Kanwa powinna wyglądać tak samo jak poniżej.
W lewym dolnym rogu elementu Split Data (Podział danych ) przeciągnij połączenie z prawym górnym rogu elementu Train Model (Trenowanie modelu ). Pierwsze 70% podzielone z zestawu danych będzie używane przez trenowanie modelu do trenowania algorytmu.
Wybierz element Train Model (Trenowanie modelu) na kanwie, a następnie w panelu Właściwości (po prawej stronie okna przeglądarki) kliknij przycisk Launch column selector (Uruchom selektor kolumn).
W polu tekstowym wpisz produkt , a następnie naciśnij klawisz Enter, produkt zostanie ustawiony jako kolumna do trenowania przewidywań. W tym celu kliknij znacznik w prawym dolnym rogu, aby zamknąć okno dialogowe wyboru.
Wytrenujesz algorytm regresji logistycznej wieloklasowej , aby przewidzieć najbardziej sprzedany produkt na podstawie godziny dnia i daty. Wykracza to poza zakres tego dokumentu, aby wyjaśnić szczegóły różnych algorytmów dostarczonych przez Azure Machine Learning studio, jednak możesz dowiedzieć się więcej z ściągawek algorytmu uczenia maszynowego
W panelu elementów eksperymentu po lewej stronie rozwiń węzeł Machine Learning>Initialize Model Classification (Inicjowanieklasyfikacji modeli>) i przeciągnij element Multiclass Logistics Regression (Regresja logistyczna) do kanwy eksperymentu.
Połącz dane wyjściowe z dołu wieloklasowej regresji logistycznej z lewym górnym wejściem elementu Train Model (Trenowanie modelu ).
Na liście elementów eksperymentu w panelu po lewej stronie rozwiń pozycję Ocena uczenia> maszynowego i przeciągnij element Score Model (Generowanie wyników modelu) na kanwie.
Połącz dane wyjściowe z dolnej części train model (Trenowanie modelu) z lewym górnym wejściem modelu Score (Generowanie wyników dla modelu).
Połącz dane wyjściowe w prawym dolnym rogu z obszaru Split Data (Podział danych) do prawego górnego rogu elementu Score Model (Generowanie wyników modelu ).
Na liście elementów Eksperyment w panelu po lewej stronie rozwiń pozycję Machine LearningEvaluate (Ocenauczenia> maszynowego) i przeciągnij element Evaluate Model (Oceń model) na kanwę.
Połącz dane wyjściowe z modelu Score (Generowanie wyników modelu) z lewym górnym wejściem modelu Evaluate Model (Ocena modelu).
Utworzono swój pierwszy eksperyment usługi Machine Learning. Teraz możesz zapisać i uruchomić eksperyment. W menu w dolnej części strony kliknij przycisk Zapisz , aby zapisać eksperyment, a następnie kliknij przycisk Uruchom , aby rozpocząć eksperyment.
Stan eksperymentu można wyświetlić w prawym górnym rogu kanwy. Poczekaj chwilę na zakończenie eksperymentu.

Jeśli masz duży (rzeczywisty) zestaw danych, prawdopodobnie eksperyment może potrwać kilka godzin.
Kliknij prawym przyciskiem myszy element Evaluate Model (Ocena modelu ) na kanwie, a następnie w menu kontekstowym umieść kursor myszy na pozycji Wyniki oceny, a następnie wybierz pozycję Visualize (Wizualizacja).
Wyniki oceny zostaną wyświetlone z wynikami przewidywanymi w porównaniu z rzeczywistymi wynikami. Używa to 30% oryginalnego zestawu danych, który został podzielony wcześniej do oceny modelu. Wyniki nie są świetne, najlepiej byłoby mieć największą liczbę w każdym wierszu jako wyróżniony element w kolumnach.
Zamknij wyniki.
Aby użyć nowo wytrenowanego modelu uczenia maszynowego, musisz udostępnić go jako usługę internetową. Aby to zrobić, kliknij element menu Konfigurowanie usługi sieci Web w menu w dolnej części strony, a następnie kliknij pozycję Predykcyjna usługa sieci Web.
Zostanie utworzona nowa karta, a model trenowania zostanie scalony w celu utworzenia nowej usługi internetowej.
W menu w dolnej części strony kliknij przycisk Zapisz, a następnie kliknij przycisk Uruchom. Stan zostanie zaktualizowany w prawym górnym rogu kanwy eksperymentu.
Po zakończeniu działania przycisk Wdróż usługę internetową pojawi się w dolnej części strony. Wszystko jest gotowe do wdrożenia usługi internetowej. Kliknij pozycję Wdróż usługę internetową (klasyczną) w menu w dolnej części strony.

Przeglądarka może monitować o zezwolenie na wyskakujące okienko, które powinno być dozwolone, ale może być konieczne ponowne naciśnięcie klawisza Deploy Web Service (Wdróż usługę internetową ), jeśli strona wdrażania nie jest wyświetlana.
Po utworzeniu eksperymentu nastąpi przekierowanie do strony pulpitu nawigacyjnego , na której będzie wyświetlany klucz interfejsu API . Skopiuj go do notatnika na chwilę. Będzie on potrzebny w kodzie bardzo szybko. Po zanotowania klucza interfejsu API kliknij przycisk REQUEST/RESPONSE w sekcji Domyślny punkt końcowy poniżej klucza.

Uwaga

Po kliknięciu przycisku Testuj na tej stronie będzie można wprowadzić dane wejściowe i wyświetlić dane wyjściowe. Wprowadź dzień i godzinę. Pozostaw pusty wpis produktu . Następnie kliknij przycisk Potwierdź . Dane wyjściowe w dolnej części strony pokażą kod JSON reprezentujący prawdopodobieństwo wyboru każdego produktu.
Zostanie otwarta nowa strona internetowa zawierająca instrukcje i kilka przykładów dotyczących struktury żądań wymaganych przez usługę Machine Learning Studio (klasyczną). Skopiuj identyfikator URI żądania wyświetlany na tej stronie do Notatnika.

Utworzono system uczenia maszynowego, który zapewnia najbardziej prawdopodobny produkt, który będzie sprzedawany na podstawie historycznych danych zakupu, skorelowanych z godziną dnia i dnia roku.

Aby wywołać usługę internetową, potrzebny będzie adres URL punktu końcowego usługi i klucz interfejsu API dla usługi. Kliknij kartę Zużycie w górnym menu.

Na stronie Informacje o użyciu zostaną wyświetlone informacje potrzebne do wywołania usługi internetowej z kodu. Wykonaj kopię klucza podstawowego i adresu URL odpowiedzi na żądanie . Będą one potrzebne w następnym rozdziale.

Rozdział 5 . Konfigurowanie projektu aparatu Unity

Skonfiguruj i przetestuj Mixed Reality immersywny zestaw słuchawkowy.

Uwaga

Na potrzeby tego kursu nie będzie wymagane kontrolery ruchu. Jeśli potrzebujesz pomocy technicznej podczas konfigurowania immersyjnego zestawu słuchawkowego, kliknij tutaj.

Otwórz środowisko Unity i utwórz nowy projekt aparatu Unity o nazwie MR_MachineLearning. Upewnij się, że typ projektu ma ustawioną wartość 3D.
Po otwarciu aparatu Unity warto sprawdzić domyślny edytor skryptów ustawiony na program Visual Studio. Przejdź do pozycji Edytuj>preferencje , a następnie w nowym oknie przejdź do pozycji Narzędzia zewnętrzne. Zmień edytor skryptów zewnętrznych na Visual Studio 2017. Zamknij okno Preferencje .
Następnie przejdź dopozycji Ustawienia kompilacjiplików> i przełącz platformę na platforma uniwersalna systemu Windows, klikając przycisk Przełącz platformę.
Upewnij się również, że:
1. Urządzenie docelowe jest ustawione na dowolne urządzenie.
  
  W przypadku Microsoft HoloLens ustaw wartość Urządzenie docelowe na HoloLens.
2. Typ kompilacji jest ustawiony na D3D.
3. Zestaw SDK jest ustawiony na wartość Najnowsza zainstalowana.
4. Wersja programu Visual Studio jest ustawiona na najnowszą zainstalowaną.
5. Kompilowanie i uruchamianie jest ustawione na komputer lokalny.
6. Nie martw się o skonfigurowanie scen w tej chwili, ponieważ są one udostępniane później.
7. Pozostałe ustawienia powinny być na razie pozostawione jako domyślne.
W oknie Ustawienia kompilacji kliknij przycisk Ustawienia odtwarzacza , spowoduje to otwarcie powiązanego panelu w obszarze, w którym znajduje się inspektor .
W tym panelu należy zweryfikować kilka ustawień:
1. Na karcie Inne ustawienia :
  1. Wersja środowiska uruchomieniowegoskryptów powinna być eksperymentalna (odpowiednik platformy.NET 4.6)
  2. Zaplecze skryptów powinno mieć wartość .NET
  3. Poziom zgodności interfejsu API powinien mieć wartość .NET 4.6
2. Na karcie Ustawienia publikowania w obszarze Możliwości sprawdź:
  - InternetClient
3. W dalszej części panelu w obszarze Ustawienia XR (znaleziono poniżej ustawień publikowania), zaznacz pole Virtual Reality Supported (Obsługiwana rzeczywistość wirtualna), upewnij się, że dodano zestaw SDK Windows Mixed Reality
W obszarze Ustawienia kompilacji Projekty aparatu Unity C# nie są już wyszarzone; zaznacz pole wyboru obok tego.
Zamknij okno Build Settings (Ustawienia kompilacji).
Zapisz projekt (PLIK > ZAPISZ PROJEKT).

Rozdział 6 . Importowanie pakietu APARATU UNITY MLProducts

Na potrzeby tego kursu należy pobrać pakiet zasobów aparatu Unity o nazwie Azure-MR-307.unitypackage. Ten pakiet jest dostarczany wraz ze sceną ze wszystkimi obiektami w tym wstępnie utworzonymi, dzięki czemu można skupić się na uzyskaniu tego wszystkiego, co działa. Skrypt ShelfKeeper jest dostarczany, choć przechowuje tylko zmienne publiczne, na potrzeby struktury konfiguracji sceny. Należy wykonać wszystkie inne sekcje.

Aby zaimportować ten pakiet:

Z pulpitem nawigacyjnym aparatu Unity przed tobą kliknij pozycję Assets (Zasoby ) w menu w górnej części ekranu, a następnie kliknij pozycję Import Package (Importuj pakiet), Custom Package (Pakiet niestandardowy).
Użyj selektora plików, aby wybrać pakiet Azure-MR-307.unitypackage i kliknij przycisk Otwórz.
Zostanie wyświetlona lista składników tego zasobu. Potwierdź importowanie, klikając pozycję Importuj.
Po zakończeniu importowania zauważysz, że niektóre nowe foldery zostały wyświetlone w panelu projektu aparatu Unity. Są to modele 3D i odpowiednie materiały, które są częścią wstępnie wykonanej sceny, nad którą będziesz pracować. W tym kursie napiszesz większość kodu.
W folderze Panel projektu kliknij folder Sceny i kliknij dwukrotnie scenę wewnątrz (o nazwie MR_MachineLearningScene). Zostanie otwarta scena (zobacz obraz poniżej). Jeśli brakuje czerwonych diamentów, po prostu kliknij przycisk Gizmos , w prawym górnym rogu Panelu gier.

Rozdział 7 . Sprawdzanie bibliotek DLL w unity

Aby korzystać z bibliotek JSON (używanych do serializacji i deserializacji), biblioteka DLL Newtonsoft została zaimplementowana wraz z wprowadzonym pakietem. Biblioteka powinna mieć poprawną konfigurację, chociaż warto ją sprawdzić (szczególnie jeśli masz problemy z kodem, który nie działa).

W tym celu:

Kliknij prawym przyciskiem myszy plik Newtonsoft w folderze Plugins i przyjrzyj się panelowi Inspector (Inspektor). Upewnij się, że dowolna platforma jest zaznaczona. Przejdź do karty platformy UWP , a także upewnij się, że nie zaznaczaj procesu .

Rozdział 8 — Tworzenie klasy ShelfKeeper

Klasa ShelfKeeper hostuje metody kontrolujące interfejs użytkownika i produkty, które zostały zduplikowane w scenie.

W ramach zaimportowanego pakietu otrzymasz tę klasę, choć jest niekompletna. Teraz nadszedł czas na ukończenie tej klasy:

Kliknij dwukrotnie skrypt ShelfKeeper w folderze Scripts , aby otworzyć go za pomocą programu Visual Studio 2017.

Zastąp cały kod istniejący w skrypcie następującym kodem, który ustawia godzinę i datę oraz metodę wyświetlania produktu.

using UnityEngine;

public class ShelfKeeper : MonoBehaviour
{
    /// <summary>
    /// Provides this class Singleton-like behavior
    /// </summary>
    public static ShelfKeeper instance;

    /// <summary>
    /// Unity Inspector accessible Reference to the Text Mesh object needed for data
    /// </summary>
    public TextMesh dateText;

    /// <summary>
    /// Unity Inspector accessible Reference to the Text Mesh object needed for time
    /// </summary>
    public TextMesh timeText;

    /// <summary>
    /// Provides references to the spawn locations for the products prefabs
    /// </summary>
    public Transform[] spawnPoint;

    private void Awake()
    {
        instance = this;
    }

    /// <summary>
    /// Set the text of the date in the scene
    /// </summary>
    public void SetDate(string day, string month)
    {
        dateText.text = day + " " + month;
    }

    /// <summary>
    /// Set the text of the time in the scene
    /// </summary>
    public void SetTime(string hour)
    {
        timeText.text = hour + ":00";
    }

    /// <summary>
    /// Spawn a product on the shelf by providing the name and selling grade
    /// </summary>
    /// <param name="name"></param>
    /// <param name="sellingGrade">0 being the best seller</param>
    public void SpawnProduct(string name, int sellingGrade)
    {
        Instantiate(Resources.Load(name),
            spawnPoint[sellingGrade].transform.position, spawnPoint[sellingGrade].transform.rotation);
    }
}

Pamiętaj, aby zapisać zmiany w programie Visual Studio przed powrotem do aparatu Unity.
Po powrocie do edytora aparatu Unity sprawdź, czy klasa ShelfKeeper wygląda następująco:
Ważne

Jeśli skrypt nie ma elementów docelowych odwołań (tj. Date (Text Mesh)), po prostu przeciągnij odpowiednie obiekty z panelu hierarchii do pól docelowych. Zapoznaj się z poniższymi tematami, aby uzyskać wyjaśnienie, jeśli jest to konieczne:
1. Otwórz tablicę Spawn Point w skryscie składnika ShelfKeeper , klikając ją lewym przyciskiem myszy. Zostanie wyświetlona sekcja podrzędna o nazwie Size (Rozmiar), która wskazuje rozmiar tablicy. Wpisz 3 w polu tekstowym obok pozycji Rozmiar i naciśnij klawisz Enter, a poniżej zostaną utworzone trzy miejsca.
2. W hierarchii rozwiń obiekt Czas wyświetlania (klikając lewą strzałkę obok niej). Następnie kliknij kamerę główną z poziomu hierarchii, aby inspektor wyświetlał jego informacje.
3. Wybierz kamerę główną w panelu hierarchii. Przeciągnij obiekty Daty i godziny z Panelu hierarchii do przedziałów tekstowych daty i godziny w obszarze Inspektor głównego aparatu w składniku ShelfKeeper .
4. Przeciągnij punkty spawn z panelu hierarchii (poniżej obiektu Półka) do elementów docelowych odwołań 3elementów poniżej tablicySpawn Point, jak pokazano na ilustracji.

Rozdział 9 — Tworzenie klasy ProductPrediction

Następną klasą, którą utworzysz, jest klasa ProductPrediction .

Ta klasa jest odpowiedzialna za:

Wykonywanie zapytań względem wystąpienia usługi Machine Learning Service , podając bieżącą datę i godzinę.
Deserializowanie odpowiedzi JSON na dane nadające się do użycia.
Interpretowanie danych przez pobranie 3 zalecanych produktów.
Wywoływanie metod klasy ShelfKeeper w celu wyświetlenia danych w scenie.

Aby utworzyć tę klasę:

Przejdź do folderu Scripts (Skrypty ) w panelu projektu.
Kliknij prawym przyciskiem myszy wewnątrz folderu Utwórz>skrypt języka C#. Wywołaj skrypt ProductPrediction.
Kliknij dwukrotnie nowy skrypt ProductPrediction , aby otworzyć go za pomocą programu Visual Studio 2017.
Jeśli zostanie wyświetlone okno dialogowe Wykryto modyfikację pliku , kliknij pozycję *Załaduj ponownie rozwiązanie.

Dodaj następujące przestrzenie nazw na początku klasy ProductPrediction:

using System;
using System.Collections.Generic;
using UnityEngine;
using System.Linq;
using Newtonsoft.Json;
using UnityEngine.Networking;
using System.Runtime.Serialization;
using System.Collections;

Wewnątrz klasy ProductPrediction wstaw następujące dwa obiekty składające się z wielu klas zagnieżdżonych. Te klasy służą do serializacji i deserializacji kodu JSON dla usługi Machine Learning Service.

    /// <summary>
    /// This object represents the Prediction request
    /// It host the day of the year and hour of the day
    /// The product must be left blank when serialising
    /// </summary>
    public class RootObject
    {
        public Inputs Inputs { get; set; }
    }

    public class Inputs
    {
        public Input1 input1 { get; set; }
    }

    public class Input1
    {
        public List<string> ColumnNames { get; set; }
        public List<List<string>> Values { get; set; }
    }

    /// <summary>
    /// This object containing the deserialised Prediction result
    /// It host the list of the products
    /// and the likelihood of them being sold at current date and time
    /// </summary>
    public class Prediction
    {
        public Results Results { get; set; }
    }

    public class Results
    {
        public Output1 output1;
    }

    public class Output1
    {
        public string type;
        public Value value;
    }

    public class Value
    {
        public List<string> ColumnNames { get; set; }
        public List<List<string>> Values { get; set; }
    }

Następnie dodaj następujące zmienne powyżej poprzedniego kodu (aby kod pokrewny JSON był u dołu skryptu, poniżej wszystkich innych kodu i poza tym):

    /// <summary>
    /// The 'Primary Key' from your Machine Learning Portal
    /// </summary>
    private string authKey = "-- Insert your service authentication key here --";

    /// <summary>
    /// The 'Request-Response' Service Endpoint from your Machine Learning Portal
    /// </summary>
    private string serviceEndpoint = "-- Insert your service endpoint here --";

    /// <summary>
    /// The Hour as set in Windows
    /// </summary>
    private string thisHour;

    /// <summary>
    /// The Day, as set in Windows
    /// </summary>
    private string thisDay;

    /// <summary>
    /// The Month, as set in Windows
    /// </summary>
    private string thisMonth;

    /// <summary>
    /// The Numeric Day from current Date Conversion
    /// </summary>
    private string dayOfTheYear;

    /// <summary>
    /// Dictionary for holding the first (or default) provided prediction 
    /// from the Machine Learning Experiment
    /// </summary>    
    private Dictionary<string, string> predictionDictionary;

    /// <summary>
    /// List for holding product prediction with name and scores
    /// </summary>
    private List<KeyValuePair<string, double>> keyValueList;

Ważne

Pamiętaj, aby wstawić klucz podstawowy i punkt końcowy żądania-odpowiedź z portalu usługi Machine Learning do zmiennych w tym miejscu. Na poniższych obrazach pokazano, skąd zostałby pobrany klucz i punkt końcowy.

Zrzut ekranu przedstawiający program Microsoft Azure Machine Learning Studio z linkiem Żądanie odpowiedzi ukośnika poniżej strony Pomocy P I.

Zrzut ekranu przedstawiający stronę dokumentacji żądania odpowiedzi A P I z wyróżnioną pozycją POST Request U R I ( Żądanie POST).

Wstaw ten kod w metodzie Start(). Metoda Start() jest wywoływana, gdy klasa inicjuje:

    void Start()
    {
        // Call to get the current date and time as set in Windows
        GetTodayDateAndTime();

        // Call to set the HOUR in the UI
        ShelfKeeper.instance.SetTime(thisHour);

        // Call to set the DATE in the UI
        ShelfKeeper.instance.SetDate(thisDay, thisMonth);

        // Run the method to Get Predication from Azure Machine Learning
        StartCoroutine(GetPrediction(thisHour, dayOfTheYear));
    }

Poniżej przedstawiono metodę, która zbiera datę i godzinę z systemu Windows i konwertuje ją na format, którego nasz eksperyment uczenia maszynowego może użyć do porównania z danymi przechowywanymi w tabeli.

    /// <summary>
    /// Get current date and hour
    /// </summary>
    private void GetTodayDateAndTime()
    {
        // Get today date and time
        DateTime todayDate = DateTime.Now;

        // Extrapolate the HOUR
        thisHour = todayDate.Hour.ToString();

        // Extrapolate the DATE
        thisDay = todayDate.Day.ToString();
        thisMonth = todayDate.ToString("MMM");

        // Extrapolate the day of the year
        dayOfTheYear = todayDate.DayOfYear.ToString();
    }

Możesz usunąć metodę Update(), ponieważ ta klasa nie będzie jej używać.

Dodaj następującą metodę, która przekaże bieżącą datę i godzinę do punktu końcowego usługi Machine Learning i otrzyma odpowiedź w formacie JSON.

    private IEnumerator GetPrediction(string timeOfDay, string dayOfYear)
    {
        // Populate the request object 
        // Using current day of the year and hour of the day
        RootObject ro = new RootObject
        {
            Inputs = new Inputs
            {
                input1 = new Input1
                {
                    ColumnNames = new List<string>
                    {
                        "day",
                        "hour",
                    "product"
                    },
                    Values = new List<List<string>>()
                }
            }
        };

        List<string> l = new List<string>
        {
            dayOfYear,
            timeOfDay,
            ""
        };

        ro.Inputs.input1.Values.Add(l);

        Debug.LogFormat("Score request built");

        // Serialize the request
        string json = JsonConvert.SerializeObject(ro);

        using (UnityWebRequest www = UnityWebRequest.Post(serviceEndpoint, "POST"))
        {
            byte[] jsonToSend = new System.Text.UTF8Encoding().GetBytes(json);
            www.uploadHandler = new UploadHandlerRaw(jsonToSend);

            www.downloadHandler = new DownloadHandlerBuffer();
            www.SetRequestHeader("Authorization", "Bearer " + authKey);
            www.SetRequestHeader("Content-Type", "application/json");
            www.SetRequestHeader("Accept", "application/json");

            yield return www.SendWebRequest();
            string response = www.downloadHandler.text;

            // Deserialize the response
            DataContractSerializer serializer;
            serializer = new DataContractSerializer(typeof(string));
            DeserialiseJsonResponse(response);
        }
    }

Dodaj następującą metodę, która jest odpowiedzialna za deserializowanie odpowiedzi JSON i przekazanie wyniku deserializacji do klasy ShelfKeeper . Ten wynik będzie nazwami trzech pozycji przewidywanych do sprzedaży najwięcej w bieżącej dacie i godzinie. Wstaw poniższy kod do klasy ProductPrediction poniżej poprzedniej metody.

    /// <summary>
    /// Deserialize the response received from the Machine Learning portal
    /// </summary>
    public void DeserialiseJsonResponse(string jsonResponse)
    {
        // Deserialize JSON
        Prediction prediction = JsonConvert.DeserializeObject<Prediction>(jsonResponse);
        predictionDictionary = new Dictionary<string, string>();

        for (int i = 0; i < prediction.Results.output1.value.ColumnNames.Count; i++)
        {
            if (prediction.Results.output1.value.Values[0][i] != null)
            {
                predictionDictionary.Add(prediction.Results.output1.value.ColumnNames[i], prediction.Results.output1.value.Values[0][i]);
            }
        }

        keyValueList = new List<KeyValuePair<string, double>>();

        // Strip all non-results, by adding only items of interest to the scoreList
        for (int i = 0; i < predictionDictionary.Count; i++)
        {
            KeyValuePair<string, string> pair = predictionDictionary.ElementAt(i);
            if (pair.Key.StartsWith("Scored Probabilities"))
            {
                // Parse string as double then simplify the string key so to only have the item name
                double scorefloat = 0f;
                double.TryParse(pair.Value, out scorefloat);
                string simplifiedName =
                    pair.Key.Replace("\"", "").Replace("Scored Probabilities for Class", "").Trim();
                keyValueList.Add(new KeyValuePair<string, double>(simplifiedName, scorefloat));
            }
        }

        // Sort Predictions (results will be lowest to highest)
        keyValueList.Sort((x, y) => y.Value.CompareTo(x.Value));

        // Spawn the top three items, from the keyValueList, which we have sorted
        for (int i = 0; i < 3; i++)
        {
            ShelfKeeper.instance.SpawnProduct(keyValueList[i].Key, i);
        }

        // Clear lists in case of reuse
        keyValueList.Clear();
        predictionDictionary.Clear();
    }

Zapisz program Visual Studio i wróć do środowiska Unity.
Przeciągnij skrypt klasy ProductPrediction z folderu Script na obiekt Main Camera .
Zapisz scenę i projekt Zapisz>scenę/Plik zapisz>projekt.

Rozdział 10 — Tworzenie rozwiązania platformy UWP

Teraz nadszedł czas, aby skompilować projekt jako rozwiązanie platformy UWP, aby można było uruchomić go jako aplikację autonomiczną.

Aby skompilować:

Zapisz bieżącą scenę, klikając pozycjęZapisz scenypliku>.
Przejdź doustawień kompilacjipliku>
Zaznacz pole wyboru o nazwie Projekty C# aparatu Unity (jest to ważne, ponieważ umożliwi edytowanie klas po zakończeniu kompilacji).
Kliknij pozycję Dodaj otwarte sceny,
Kliknij pozycję Kompiluj.
Zostanie wyświetlony monit o wybranie folderu, w którym chcesz skompilować rozwiązanie.
Utwórz folder BUILDS i w tym folderze utwórz inny folder z wybraną odpowiednią nazwą.
Kliknij nowy folder, a następnie kliknij pozycję Wybierz folder, aby rozpocząć kompilację w tej lokalizacji.
Po zakończeniu kompilowania środowiska Unity (może to trochę potrwać), zostanie otwarte okno Eksplorator plików w lokalizacji kompilacji (sprawdź pasek zadań, ponieważ może nie zawsze pojawiać się nad oknami, ale powiadomi o dodaniu nowego okna).

Rozdział 11 — Wdrażanie aplikacji

Aby wdrożyć aplikację:

Przejdź do nowej kompilacji aparatu Unity (folderu Aplikacja ) i otwórz plik rozwiązania za pomocą programu Visual Studio.
Po otwarciu programu Visual Studio należy przywrócić pakiety NuGet, które można wykonać, klikając prawym przyciskiem myszy rozwiązanie MachineLearningLab_Build z Eksplorator rozwiązań (znajdującego się po prawej stronie programu Visual Studio), a następnie klikając polecenie Przywróć pakiety NuGet:
W obszarze Konfiguracja rozwiązania wybierz pozycję Debuguj.
W polu Platforma rozwiązania wybierz pozycję x86, Komputer lokalny.
W przypadku Microsoft HoloLens można łatwiej ustawić tę opcję na Maszynę zdalną, aby nie być na tym komputerze. Należy jednak również wykonać następujące czynności:
- Poznaj adres IP urządzenia HoloLens, który można znaleźć w obszarze Ustawienia > & Internet > Wi-Fi > Opcje zaawansowane; adres IPv4 jest adresem, którego należy użyć.
- Upewnij się, że tryb dewelopera jest włączony; znajduje się w temacie Ustawienia > Aktualizuj & Zabezpieczenia > dla deweloperów.
Przejdź do menu Kompilacja i kliknij pozycję Wdróż rozwiązanie , aby załadować aplikację bezpośrednio na komputer.
Aplikacja powinna być teraz wyświetlana na liście zainstalowanych aplikacji gotowych do uruchomienia.

Po uruchomieniu aplikacji Mixed Reality zostanie wyświetlona ławka skonfigurowana w scenie aparatu Unity, a po zainicjowaniu dane skonfigurowane na platformie Azure zostaną pobrane. Dane zostaną zdeserializowane w aplikacji, a trzy najważniejsze wyniki bieżącej daty i godziny zostaną udostępnione wizualnie jako trzy modele na ławce.

Gotowa aplikacja usługi Machine Learning

Gratulacje, utworzono aplikację rzeczywistości mieszanej, która wykorzystuje usługę Azure Machine Learning do prognozowania danych i wyświetlania jej na scenie.

Zrzut ekranu przedstawiający okno programu Microsoft Visual Studio, które pokazuje półkę z trzema obiektami i kartą z tekstem 15 o' clock 23 lutego.

Ćwiczenie

Ćwiczenie 1

Poeksperymentuj z kolejnością sortowania aplikacji i masz trzy dolne przewidywania wyświetlane na półce, ponieważ te dane byłyby potencjalnie przydatne.

Ćwiczenie 2

Użycie tabel platformy Azure umożliwia wypełnienie nowej tabeli informacjami o pogodzie i utworzenie nowego eksperymentu przy użyciu danych.

Urządzenia HoloLens (1. generacji) i Azure 307: Uczenie maszynowe

Obsługa urządzeń

Wymagania wstępne

Przed rozpoczęciem

Rozdział 1 — Konfigurowanie konta usługi Azure Storage

Rozdział 2 — Azure Machine Learning Studio (wersja klasyczna)

Rozdział 3 — Machine Learning Studio (wersja klasyczna): Konfiguracja zestawu danych

Rozdział 4 — Machine Learning Studio (wersja klasyczna): Eksperyment

Rozdział 5 . Konfigurowanie projektu aparatu Unity

Rozdział 6 . Importowanie pakietu APARATU UNITY MLProducts

Rozdział 7 . Sprawdzanie bibliotek DLL w unity

Rozdział 8 — Tworzenie klasy ShelfKeeper

Rozdział 9 — Tworzenie klasy ProductPrediction

Rozdział 10 — Tworzenie rozwiązania platformy UWP

Rozdział 11 — Wdrażanie aplikacji

Gotowa aplikacja usługi Machine Learning

Ćwiczenie

Dodatkowe zasoby