Jelenetértés

Szolgáltatás HoloLens (1. generációs) HoloLens 2. Modern headsetek
Jelenetértés ✔️

Gyakori használati forgatókönyvek

Gyakori térbeli leképezési használati forgatókönyvek ábrái: Elhelyezés, eltakarás, fizika és navigáció
Gyakori térbeli leképezési használati forgatókönyvek: elhelyezés, eltakarás, fizika és navigáció.


A tudatos alkalmazásokkal kapcsolatos alapvető forgatókönyvek nagy része a térbeli leképezés és a jelenetértelmezés által is használható. Az alapvető forgatókönyvek közé tartozik például az elhelyezés, az eltakaródás, a fizika és így tovább. A Jelenetfelismerés és a Térbeli leképezés közötti egyik fő különbség a maximális pontosság és a késés struktúra és egyszerűség közötti különbség. Ha az alkalmazás a lehető legkisebb késést és a csak Ön által elérni kívánt háromszögeket igényli, használja közvetlenül a Térbeli leképezést. Ha magasabb szintű feldolgozást végzett, érdemes lehet áttérni a Scene Understanding modellre, mivel a funkció egy további szolgáltatásokat nyújt. Mindig a lehető legpontosabb térbeli leképezési adatokhoz férhet hozzá, mivel a Scene Understanding a ábrázolás részeként pillanatképet készít a térbeli leképezési hálóról.

A következő szakaszok az alapvető térbeli leképezési forgatókönyveket ismertetik az új Scene Understanding SDK kontextusában.

Elhelyezés

A jelenetértelmezés új szerkezeteket biztosít az elhelyezési forgatókönyvek egyszerűsítéséhez. A jelenet képes kiszámítani a SceneQuads nevű primitíveket, amelyek olyan sima felületeket írnak le, amelyeken hologramok helyezhetők el. A SceneQuads az elhelyezés köré lett tervezve, és egy 2D-s felületet ír le, és API-t biztosít ezen a felületen való elhelyezéshez. Korábban, amikor a háromszöghálót használtuk az elhelyezéshez, az egyiknek be kellett olvasnia a quad összes területét, és a furat kitöltését/utófeldolgozását kellett használnia, hogy azonosítsa az objektumok elhelyezéséhez megfelelő helyeket. Quadok esetén ez nem mindig szükséges, mivel a Scene (A futásidő megértése) arra a következtetésre vezet, hogy mely quadterületeket nem vizsgálták meg, és érvényteleníti a felület részét nem képezi.

SceneQuads with inference disabled, capturing placement areas for szkennelt régiók.
1. kép – A SceneQuads a dedektenciával le van tiltva, és a beolvasott régiók elhelyezési területeit rögzítik.

Quadok, amelyeken engedélyezve van a következtetés, az elhelyezés már nem korlátozódik a beolvasott területekre.
2. kép – Engedélyezett következtetéssel rendelkező quadok, az elhelyezés már nem korlátozódik a beolvasott területekre.


Ha az alkalmazás 2D vagy 3D hologramokat szeretne a környezet merev szerkezetére tenni, az elhelyezéshez a SceneQuads egyszerűsége és kényelme előnyösebb, ha ezt az információt a térbeli leképezési hálóból szeretné kiszámítható. További információ erről a témakörről: Scene understanding SDK reference (Scene understanding SDK referenciája)

Megjegyzés A térbeli leképezési hálótól függően örökölt elhelyezési kód esetén a térbeli leképezési háló a SceneQuads mellett az EnableWorldMesh beállítás megadásával számítható ki. Ha a Scene Understanding API nem felel meg az alkalmazás késési követelményeinek, javasoljuk, hogy folytassa a Spatial Mapping API használatát.

Elzáródás

Továbbra is a térbeli leképezés eltakarása a legkevésbé rejtett mód a környezet valós idejű állapotának rögzítésére. Bár ez hasznos lehet a rendkívül dinamikus jelenetekben való eltakaródáshoz, több okból is megfontolhatja a jelenetfelismerést. Ha a Scene Understanding által létrehozott térbeli leképezési hálót használja, olyan térbeli leképezésből kérhet le adatokat, amelyek nem a helyi gyorsítótárban vannak tárolva, és nem érhetők el az észlelési API-kból. Ha térbeli leképezést használ az eltakarításhoz a vízmentes hálók mellett, az további értéket biztosít, különösen a nem beszkennyzett helyiség szerkezetének kiegészítését.

Ha a követelmények tűrik a Scene Understanding megnövekedett késését, az alkalmazásfejlesztőknek érdemes megfontolni a Scene understanding watertight mesh és a térbeli leképezési háló planáris ábrázolásokkal összhangban való használatával való használatát. Ez "a két világ legjobbja" forgatókönyvet biztosítná, amelyben az egyszerűsített vízmentes elzáródást finomabb nemplanáris geometria biztosítja, amely a lehető legrealisztikusabb eltakarási térképeket biztosítja.

Fizika

A jelenetértelmezés olyan vízmentes hálókat hoz létre, amelyek szemantikával omálják a teret, különösen a térleképezési hálókra vonatkozó számos fizikai korlátozás kezelése érdekében. A vízmentes struktúrák biztosítják, hogy a fizikai sugárvesztés mindig elérje az etikát, a szemantikai felbontás pedig lehetővé teszi a navigációs hálók egyszerűbb generálását a beltéri navigációhoz. Az eltolódásról ()című szakaszban leírtak szerint, ha létrehozunk egy jelenetet az EnableSceneObjectMeshes és az EnableWorldMesh segítségével, az a lehető legátlagosabb hálót fogja előállítani. A környezeti háló watertight (vízmentes) tulajdonsága megakadályozza, hogy a találatok tesztje ne ütközzen felületre. A háló adatai biztosítják, hogy a fizika a jelenet összes objektumával kommunikál, és ne csak a helyiség struktúrájával.

A szemantikai osztály szerint felosztott planáris hálók ideális szerkezetek a navigációhoz és az útvonaltervezéshez, így a térbeli leképezés navigációs áttekintésében ismertetett problémák nagy része megoldható. A jelenetben kiszámított SceneMesh-objektumok felülettípus szerint vannak felkorbálva, így a navigációs háló létrehozása olyan felületekre korlátozódik, amelyeken végig lehetjárni. A padlószerkezetek egyszerűsége miatt a 3d motorban, például a Unityben a dinamikus navigációs háló létrehozása a valós idejű követelményektől függően érhető el.

A pontos navigációs hálók létrehozása jelenleg is utófeldolgozást igényel, vagyis az alkalmazásoknak továbbra is a padlóra kell kivetítenék az occludereket, hogy a navigáció ne haladjon át zsúfoltságon/táblákon stb. Ennek a legpontosabb módja, ha kivetíti a világháló adatait, amelyek akkor biztosítanak adatokat, ha a jelenet kiszámítása az EnableWorldMesh jelzővel történik.

Vizualizáció

Bár a térbeli leképezés vizualizációja használható a környezet valós idejű visszajelzésére, számos forgatókönyv létezik, ahol a planáris és a vízmentes objektumok egyszerűsége jobb teljesítményt vagy vizuális minőséget biztosít. A térbeli leképezés használatával leírt árnyékleképezési és földelési technikák akkor lehetnek legcsodálatosabbak, ha a Quads vagy a planar watertight mesh által biztosított planáris felületekre vetülnek. Ez különösen igaz olyan környezetekre/forgatókönyvekre, ahol az alapos előzetes vizsgálat nem optimális, mert a jelenet ki fog következtetést végezni, a teljes környezetek és a planáris feltételezések pedig minimálisra csökkentik az összetevők összetevőit.

Emellett a Térbeli leképezés által visszaadott felületek teljes számát a belső térbeli gyorsítótár korlátozza, míg a Spatial Mapping mesh Scene Understanding-verziója hozzáfér a nem gyorsítótárazott térbeli leképezési adatokhoz. Emiatt a Scene Understanding alkalmasabb a nagyobb (például egy helyiségnél nagyobb) terek hálórerezentációinak rögzítésére vizualizációk vagy további hálófeldolgozás céljából. Az EnableWorldMesh által visszaadott világháló részletességi szintje konzisztens lesz, ami egy sokkal inkább tetszetelőbb vizualizációt eredményez, ha vonalkeretként van renderelve.

Lásd még:

A scene understanding Mixed Reality strukturált, magas szintű környezetre vonatkozó ábrázolásokat biztosít a fejlesztők számára, amelyet arra terveztek, hogy intuitív módon fejlesztsen a tudatos alkalmazásokhoz. A jelenetértelmezés ezt a meglévő vegyes valóságú futáskörnyezetek egyesítésével teszi meg, például a rendkívül pontos, de kevésbé strukturált térbeli leképezés és az új AI-alapú futásidők kombinálásával. Ezen technológiák kombinálásával a Scene Understanding olyan 3D-környezeteket hoz létre, amelyek hasonlóak az olyan keretrendszerekben használtakhoz, mint a Unity vagy az ARKit/ARCore. A Scene understanding belépési pont egy Scene Observer (Jelenet megfigyelője) szóval kezdődik, amelyet az alkalmazás hív meg egy új jelenet kiszámításához. Napjainkban a technológia 3 különböző, de kapcsolódó objektumkategóriát képes létrehozni:

  • Egyszerűsített, vízmentes környezeti hálók, amelyek zsúfoltság nélkül kivetik a planáris helyiség struktúráját
  • Quadnak hívott elhelyezés síkrégiói
  • A térbeli leképezési háló pillanatképe, amely igazodik az általunk felületelhető Quads/Watertight-adatokhoz

Térbeli leképezési háló, címkével jelölt planáris felületek, vízmentes háló

A dokumentum célja, hogy áttekintést nyújtson a forgatókönyvekről, és tisztázza a Scene understanding és a Spatial Mapping megosztás által alkalmazott kapcsolatot. Ha szeretné látni a Scene Understandinget a munka során, tekintse meg az alábbi Designing Hologramok - Spatial Awareness (Tervezési terv – tértudatosság) videóbemutatót:

Ez a videó a 2. Hologramok" HoloLens készült. Töltse le és használja ki a teljes élményt itt:.

Fejlesztés a Scene Understandinggal

Ez a cikk csak a Scene Understanding-futtatás és -fogalmak bevezetésére szolgál. Ha a Scene Understanding fejlesztésével kapcsolatos dokumentációt keres, az alábbi cikkek érdekelheti:

Scene Understanding SDK – áttekintés

A Scene Understanding Sample alkalmazást letöltheti a mintaalkalmazásból, GitHub webhelyről:

Scene Understanding-minta

Ha nem rendelkezik eszközzel, és mintajeleneteket szeretne elérni, hogy kipróbálja a Scene Understandinget, a mintaeszköz mappájában találhatók jelenetek:

Scene Understanding Sample Scenes

SDK

Ha további részleteket keres a Scene Understanding használatával való fejlesztéssel kapcsolatban, tekintse meg a Scene Understanding SDK áttekintő dokumentációját.

Sample

Eszköztámogatás