혼합 현실의 공유 환경
홀로그램은 한 명의 사용자만 비공개로 유지할 필요가 없습니다. 홀로그램 앱은 한 HoloLens, iOS 또는 Android 디바이스의 공간 앵커 를 다른 HoloLens 디바이스와 공유할 수 있으므로 사용자가 여러 디바이스에서 실제 세계의 동일한 위치에서 홀로그램을 렌더링할 수 있습니다.
공유 시나리오를 정의하기 위한 6가지 질문
공유 환경을 위한 디자인을 시작하기 전에 대상 시나리오를 정의하는 것이 중요합니다. 이러한 시나리오는 디자인하는 내용을 명확히 하고 일반적인 어휘를 설정하여 환경에 필요한 기능을 비교하고 대조하는 데 도움이 됩니다. 핵심 문제와 솔루션에 대한 다양한 방법을 이해하는 것은 이 새로운 매체에 내재된 기회를 파악하는 데 핵심적인 요소입니다.
HoloLens 파트너 기관의 내부 프로토타입 및 탐색을 통해 공유 시나리오를 정의하는 데 도움이 되는 6개의 질문을 만들었습니다. 이러한 질문은 시나리오의 중요한 특성을 증류하는 데 도움이 되도록 완전하지 않은 프레임워크를 형성합니다.
1. 그들은 어떻게 공유하고 있습니까?
프레젠테이션은 단일 가상 사용자가 주도할 수 있지만 여러 사용자가 공동 작업하거나 교사가 가상 자료를 사용하는 가상 학생에게 지침을 제공할 수 있습니다. 환경의 복잡성은 사용자가 시나리오에서 가지고 있거나 가질 수 있는 기관의 수준에 따라 증가합니다.
공유하는 방법에는 여러 가지가 있지만 대부분 다음 세 가지 범주로 나눠집니다.
- 프레젠테이션: 여러 사용자에게 동일한 콘텐츠가 표시되는 경우 예를 들어 한 교수가 모든 사람에게 제시되는 것과 동일한 홀로그램 자료를 사용하여 여러 학생에게 강의를 하고 있습니다. 그러나 교수는 다른 사람에게 보이지 않을 수 있는 자신의 힌트와 메모를 가질 수 있습니다.
- 공동 작업: 사람들이 공통의 목표를 달성하기 위해 함께 작업하는 경우. 예를 들어, 교수는 심장 수술을하는 방법에 대해 배울 수있는 프로젝트를 주었다. 학생들은 짝을 이고 의대생이 심장 모델에 대해 공동 작업하고 배울 수 있는 공유 기술 랩 환경을 만듭니다.
- 지침: 한 사람이 일 대 일 스타일 상호 작용에서 문제를 해결하는 데 도움을 주는 경우. 예를 들어, 교수가 공유된 환경에서 심장 수술 기술 랩을 할 때 학생에게 지침을 제공합니다.
2. 그룹 크기는 무엇인가요?
일대일 공유 환경은 강력한 기준을 제공할 수 있으며 이상적으로는 이 수준에서 개념 증명을 만들 수 있습니다. 그러나 대규모 그룹(6명 이상)과 공유하면 기술(데이터 및 네트워킹) 및 소셜( 여러 아바타가 있는 방에 있는 경우의 영향)에 모두 어려움을 겪을 수 있습니다. 복잡성은 작은그룹에서 큰 그룹으로 이동함에 따라 기하급수적으로 증가합니다.
그룹의 요구 사항이 다음 세 가지 크기 범주로 분류할 수 있음을 발견했습니다.
- 1:1
- Small < 7
- Large >= 7
그룹 크기는 다음과 같은 영향을 주므로 중요한 질문을 만듭니다.
- 홀로그램 공간의 사람 표현
- 개체의 크기 조정
- 환경 규모
3. 모두가 어디에 있습니까?
혼합 현실의 강점은 공유 환경이 동일한 위치에서 발생할 수 있을 때 발생합니다. 우리는 그것을 공동 배치라고 부릅니다. 반대로, 그룹이 배포되고 적어도 한 명의 참가자가 동일한 물리적 공간에 있지 않은 경우(VR의 경우와 마찬가지로) 원격 환경이라고 합니다. 그룹에 공동 배치된 참가자와 원격 참가자(예: 회의실의 두 그룹)가 있는 경우가 많습니다.
다음 범주는 사용자가 있는 위치를 전달하는 데 도움이 되는 것입니다.
- 공동 배치됨: 모든 사용자가 동일한 물리적 공간에 있습니다.
- 원격: 모든 사용자가 별도의 물리적 공간에 있습니다.
- 둘 다: 사용자는 공동 배치된 공간과 원격 공간이 혼합됩니다.
이 질문은 다음 사항에 영향을 미치기 때문에 매우 중요합니다.
- 사람들이 어떻게 의사 소통을 합니까?
- 예: 아바타가 있어야 하는지 여부
- 표시되는 개체입니다. 모든 개체가 공유되는가요?
- 환경에 적응해야 하는지 여부
4. 언제 공유합니까?
우리는 일반적으로 공유 환경이 떠오를 때 동기 경험을 생각합니다. 우리는 모두 함께 하고 있습니다. 그러나 다른 사용자가 추가한 단일 가상 요소를 포함하는 경우 비동기 시나리오가 있습니다. 가상 환경에 남아 있는 메모 또는 음성 메모를 상상해 보십시오. 디자인에 남아 있는 100개의 가상 메모를 처리하려면 어떻게 해야 할까요? 만약 그들이 다른 수준의 프라이버시를 가진 수십 명의 사람들로부터 온 것이라면 어떨까요?
환경을 다음 시간 범주 중 하나로 간주합니다.
- 동기식: 홀로그램 환경을 동시에 공유합니다. 예를 들어 두 명의 학생이 동시에 기술 랩을 수행합니다.
- 비동기: 다른 시간에 홀로그램 환경을 공유합니다. 예를 들어 두 명의 학생이 기술 랩을 수행하지만 서로 다른 시간에 별도의 섹션에서 작업합니다.
- 둘 다: 사용자가 동기적으로 공유하지만 다른 시간을 비동기적으로 공유하는 경우가 있습니다. 예를 들어 교수가 나중에 학생이 수행한 과제를 채점하고 다음 날 학생을 위해 메모를 남겨 둡니다.
이 질문은 다음 사항에 영향을 미치기 때문에 중요합니다.
- 개체 및 환경 지속성. 예를 들어 검색할 수 있도록 상태를 저장합니다.
- 사용자 관점. 예: 메모를 남길 때 사용자가 보고 있던 내용을 기억할 수 있습니다.
5. 물리적 환경은 얼마나 유사합니까?
이러한 환경이 동일하도록 설계되지 않은 한 공동 배치된 환경 이외의 두 개의 동일한 실제 환경의 가능성은 희박합니다. 비슷한 환경이 있을 가능성이 높습니다. 예를 들어 회의실은 비슷합니다. 일반적으로 의자로 둘러싸인 중앙에 위치한 테이블이 있습니다. 반면에 거실은 서로 다른**이며 무한 배열의 레이아웃에 가구를 포함할 수 있습니다.
다음 두 가지 범주 중 하나에 적합한 공유 환경을 고려합니다.
- 유사: 가구, 주변 조명 및 사운드, 실제 객실 크기가 비슷한 환경. 예를 들어 교수가 강의실 A에 있고 학생들은 강의실 B에 있습니다. 강의실 A는 B보다 의자가 적을 수 있지만 둘 다 홀로그램을 배치할 물리적 책상이 있을 수 있습니다.
- 서로 다른 환경: 가구 설정, 객실 크기, 조명 및 사운드 고려 사항에서 다른 환경입니다. 예를 들어 교수가 포커스룸에 있지만 학생들은 학생과 교사로 가득찬 대형 강의실에 있습니다.
환경에 영향을 주기 때문에 환경에 대해 생각하는 것이 중요합니다.
- 사람들이 이러한 개체를 경험하는 방법. 예: 사용자 환경이 테이블에서 가장 잘 작동하고 사용자에게 테이블이 없는 경우 또는 평평한 바닥 표면에 있지만 사용자에게는 복잡한 공간이 있습니다.
- 개체의 배율입니다. 예를 들어 테이블에 6피트 인간 모델을 배치하는 것은 어려울 수 있지만 하트 모델은 잘 작동합니다.
6. 어떤 디바이스를 사용하고 있나요?
현재는 두 몰입형 디바이스 간에 공유 환경을 볼 수 있는 경우가 많습니다(해당 디바이스는 단추와 상대적인 기능의 경우 약간 다를 수 있지만 크게 다를 수 있습니다). 또는 이러한 디바이스를 대상으로 하는 솔루션을 고려할 때 두 개의 홀로그램 디바이스 가 있습니다. 그러나 특히 혼합 2D 및 3D 디바이스 의 경우 2D 디바이스(모바일/데스크톱 참가자 또는 관찰자)가 필요한 고려 사항인지 고려합니다. 참가자가 사용할 디바이스 유형을 이해하는 것은 서로 다른 충실도와 데이터 제약 조건 및 기회가 있을 뿐만 아니라 사용자가 각 플랫폼에 대해 고유한 기대치를 가지고 있기 때문에 중요합니다.
공유 환경의 잠재력 살펴보기
위의 질문에 대한 답변을 결합하여 공유 시나리오를 더 잘 이해할 수 있으며, 환경을 확장할 때 문제를 결정합니다. Microsoft 팀의 경우 이를 통해 현재 사용하는 환경을 개선하고 이러한 복잡한 문제의 뉘앙스를 이해하고 혼합 현실에서 공유 환경을 활용하는 방법을 이해하기 위한 로드맵을 수립할 수 있습니다.
예를 들어 HoloLens 시작에서 Skype의 시나리오 중 하나를 고려합니다. 사용자가 원격으로 위치한 전문가의 도움을 받아 고장난 전등 스위치를 수정하는 방법을 알아봅니다.
전문가는 2D 데스크톱 컴퓨터에서 3D 혼합 현실 디바이스의 사용자에게 1:1 지침을 제공합니다. 지침은 동기적이며 물리적 환경은 서로 다릅니다.
이와 같은 환경은 비디오 및 음성의 패러다임을 새로운 매체에 적용하는 현재 환경의 단계적 변화입니다. 그러나 미래를 바라볼 때 시나리오의 기회를 더 잘 정의하고 혼합 현실의 강도를 반영하는 환경을 구축해야 합니다.
NASA의 제트 추진 연구소에서 개발한 OnSight 공동 작업 도구를 고려합니다. 화성 로버 임무에서 데이터를 작업하는 과학자들은 화성 풍경의 데이터 내에서 실시간으로 동료와 협력 할 수 있습니다.
과학자는 3D 및 2D 디바이스를 사용하는 소수의 원격 동료 그룹과 함께 3D 혼합 현실 디바이스를 사용하여 환경을 탐색합니다. 협업은 동기식이며(그러나 비동기적으로 다시 검토할 수 있습니다) 물리적 환경은 (사실상) 비슷합니다.
OnSight와 같은 환경은 공동 작업할 수 있는 새로운 기회를 제공합니다. 가상 환경의 요소를 물리적으로 지적하는 것부터 동료 옆에 서서 결과를 설명할 때 자신의 관점을 공유하는 것까지. OnSight는 몰입과 존재의 렌즈를 사용하여 혼합 현실에서 공유 환경을 재고합니다.
직관적인 협업은 대화의 근간이며, 함께 일하고 혼합 현실의 복잡성에 이러한 직관을 적용하는 방법을 이해하는 것이 중요합니다. 혼합 현실에서 공유 환경을 다시 만들 수 있을 뿐만 아니라 이를 과급할 수 있다면 작업의 미래를 위한 패러다임 전환이 될 것입니다. 혼합 현실에서 공유 환경을 디자인하는 것은 새롭고 흥미로운 공간이며, 시작에 불과합니다.
공유 환경 빌드 시작
애플리케이션 및 시나리오에 따라 원하는 환경을 달성하기 위한 다양한 요구 사항이 있습니다. 그 중 일부는 다음과 같습니다.
- 매치 메이킹: 세션을 만들고, 세션을 보급하고, 로컬 및 원격으로 특정 사용자를 검색하고 초대하여 세션에 참가할 수 있습니다.
- 앵커 공유: 공통 로컬 공간에서 여러 디바이스에 좌표를 정렬하여 홀로그램이 모든 사용자에 대해 동일한 위치에 표시되도록 하는 기능입니다.
- 네트워킹: 모든 참가자가 사용자와 홀로그램의 위치, 상호 작용 및 움직임을 실시간으로 동기화할 수 있습니다.
- 상태 스토리지: 세션 중간 참가, 나중에 회수 및 네트워크 문제에 대한 견고성을 위해 홀로그램 특성 및 위치를 공간에 저장할 수 있습니다.
공유 환경의 핵심은 여러 사용자가 자신의 디바이스에서 전 세계에서 동일한 홀로그램을 볼 수 있도록 하는 것이며, 종종 앵커를 공유하여 디바이스 간에 좌표를 맞추는 것입니다.
앵커를 공유하려면 Azure Spatial Anchors를 사용합니다.
- 먼저 사용자가 홀로그램을 배치합니다.
- 앱은 공간 앵커를 만들어 전 세계에 정확하게 홀로그램을 고정합니다.
- 앵커는 Azure Spatial Anchors를 통해 HoloLens, iOS 및 Android 디바이스에 공유할 수 있습니다.
공유 공간 앵커를 사용하면 이제 각 디바이스의 앱에 콘텐츠를 배치할 수 있는 공통 좌표계 가 있습니다. 이제 앱은 홀로그램을 동일한 위치에 배치하고 방향을 지정할 수 있습니다.
HoloLens 디바이스에서 한 디바이스에서 다른 디바이스로 오프라인으로 앵커를 공유할 수도 있습니다. 아래 링크를 사용하여 애플리케이션에 가장 적합한 사항을 결정합니다.
기술 옵션 평가
다중 사용자 혼합 현실 환경을 빌드하는 데 도움이 되는 다양한 서비스 및 기술 옵션이 있습니다. 경로를 선택하는 것이 까다로울 수 있으므로 시나리오 중심의 관점을 취하면 아래에 몇 가지 옵션이 자세히 설명되어 있습니다.
공유 정적 홀로그램(상호 작용 없음)
앱에서 Azure Spatial Anchors를 활용합니다. 여러 디바이스에서 공간 앵커를 사용하도록 설정하고 공유하면 사용자가 홀로그램을 동시에 볼 수 있는 애플리케이션을 만들 수 있습니다. 사용자가 홀로그램과 상호 작용하고 홀로그램의 이동 또는 상태 업데이트를 볼 수 있도록 디바이스 간에 추가 동기화가 필요합니다.
1인칭 관점 공유
PC 또는 TV와 같은 지원되는 Miracast 수신기가 있는 경우 로컬 사용자에 대한 기본 제공 Miracast 지원을 활용합니다. 추가 앱 코드가 필요하지 않습니다.
다중 사용자 공동 작업 환경
로컬 사용자용 Azure Spatial Anchors 및 장면의 콘텐츠/상태를 동기화하는 Photon SDK를 활용하는 다중 사용자 학습 자습서부터 시작합니다. 각 사용자가 장면의 홀로그램에 대한 자신의 관점을 가지고 있고 각각 홀로그램과 완전히 상호 작용할 수 있는 로컬 공동 작업 애플리케이션을 만듭니다. 업데이트 모든 디바이스에서 제공되며 상호 작용 충돌 관리는 Photon에서 처리됩니다.
참고
Photon은 Microsoft가 아닌 제품이므로 Photon과의 청구 관계는 더 높은 사용량을 위해 제품화 및 스케일링해야 할 수 있습니다.
향후 작업
구성 요소 기능 및 인터페이스는 다양한 시나리오 및 기본 기술에서 공통 일관성과 강력한 지원을 제공하는 데 도움이 됩니다. 그때까지 애플리케이션에서 달성하려는 시나리오에 맞는 최상의 경로를 선택합니다.
다른 시나리오 또는 다른 기술/서비스를 사용하려는 경우 이 페이지의 맨 아래에 있는 해당 리포지토리에서 GitHub 문제로 피드백을 제공하거나 HoloDevelopers slack에 문의하세요.