Modo de pesquisa do HoloLensHoloLens Research Mode

O modo de pesquisa foi introduzido nos dispositivos HoloLens (1º gen) para dar acesso aos principais sensores, especificamente para aplicativos de pesquisa que não se destinam à implantação.Research Mode was introduced on HoloLens (1st Gen) devices to give access to key sensors, specifically for research applications that aren't intended for deployment. O modo de pesquisa para o HoloLens 2 mantém os recursos do HoloLens 1, mas adiciona acesso aos seguintes fluxos:Research Mode for HoloLens 2 keeps the capabilities of HoloLens 1 but adds access to the following streams:

  • Câmeras de acompanhamento de ambiente leve visíveis – câmeras em escala cinza usadas pelo sistema para rastreamento de cabeçalho e criação de mapa.Visible Light Environment Tracking Cameras - Gray-scale cameras used by the system for head tracking and map building.

  • Câmera de profundidade – opera em dois modos:Depth Camera – Operates in two modes:

    • Detecção de AHAT, alta frequência (45 FPS) usada para acompanhamento à mão.AHAT, high-frequency (45 FPS) near-depth sensing used for hand tracking. Diferentemente do modo de curto-throw da primeira versão, AHAT dá uma pseudo profundidade com o encapsulamento de fase além de 1 medidor.Differently from the first version short-throw mode, AHAT gives pseudo-depth with phase wrap beyond 1 meter.
    • Detecção de longo alcance, de baixa frequência (1-5 FPS) de longa profundidade usada pelo mapeamento espacialLong-throw, low-frequency (1-5 FPS) far-depth sensing used by Spatial Mapping
  • Duas versões do fluxo ir-reflectivity -usadas pelo HoloLens para calcular a profundidade.Two versions of the IR-reflectivity stream - Used by the HoloLens to compute depth. Essas imagens são iluminadas por infravermelho e não são afetadas pela luz visível de ambiente.These images are illuminated by infrared and unaffected by ambient visible light.

Se você estiver usando um HoloLens 2, também terá acesso às entradas adicionais abaixo:If you're using a HoloLens 2, you also have access to the additional inputs below:

  • Acelerômetro – usado pelo sistema para determinar a aceleração linear ao longo dos eixos X, Y e Z e gravidade.Accelerometer – Used by the system to determine linear acceleration along the X, Y, and Z axes and gravity.
  • Giro – usado pelo sistema para determinar rotações.Gyro – Used by the system to determine rotations.
  • Magnetômetro – usado pelo sistema para estimar a orientação absoluta.Magnetometer – Used by the system to estimate absolute orientation.

Importante

O modo de pesquisa está atualmente em visualização pública.Research Mode is currently in Public Preview.

Captura de tela do aplicativo de modo de pesquisaResearch Mode app screenshot
Uma captura de realidade misturada de um aplicativo de teste que exibe os oito fluxos de sensor disponíveis no modo de pesquisaA mixed reality capture of a test application that displays the eight sensor streams available in Research Mode

UsoUsage

O modo de pesquisa foi projetado para pesquisadores acadêmicos e industriais que exploram novas ideias nos campos de Pesquisa Visual Computacional e robótica.Research Mode is designed for academic and industrial researchers exploring new ideas in the fields of Computer Vision and Robotics. Ele não se destina a aplicativos implantados em ambientes corporativos ou disponíveis por meio do Microsoft Store ou de outros canais de distribuição.It's not intended for applications deployed in enterprise environments or available through the Microsoft Store or other distribution channels.

Além disso, a Microsoft não fornece garantias de que o modo de pesquisa ou funcionalidade equivalente terá suporte em atualizações futuras de hardware ou sistema operacional.Additionally, Microsoft doesn't provide assurances that Research Mode or equivalent functionality is going to be supported in future hardware or OS updates. No entanto, não deixe que o impeça de usá-lo para desenvolver e testar novas ideias!However, don't let that stop you from using it to develop and test new ideas!

Segurança e desempenhoSecurity and performance

Habilitar o modo de pesquisa usa mais energia da bateria do que usar o HoloLens 2 em condições normais, mesmo que o aplicativo que usa os recursos do modo de pesquisa não esteja em execução.Enabling Research Mode uses more battery power than using the HoloLens 2 under normal conditions, even if the application using the Research Mode features isn't running. Habilitar esse modo também pode reduzir a segurança geral do seu dispositivo, pois os aplicativos podem indevidamente os dados do sensor.Enabling this mode can also lower the overall security of your device because applications may misuse sensor data. Você pode encontrar mais informações sobre a segurança do dispositivo nas perguntas frequentes sobre segurança do HoloLens.You can find more information on device security in the HoloLens security FAQ.

Suporte a dispositivosDevice support

RecursoFeature HoloLens 1ª geraçãoHoloLens first Gen HoloLens 2HoloLens 2
Câmeras de acompanhamento de cabeçalhoHead Tracking Cameras ✔️✔️ ✔️✔️
Profundidade & câmera IRDepth & IR Camera ✔️✔️ ✔️✔️
AcelerômetroAccelerometer ✔️✔️
GiroscópioGyroscope ✔️✔️
MagnetômetroMagnetometer ✔️✔️

Habilitando o modo de pesquisa (primeiro HoloLens Gen e HoloLens 2)Enabling Research Mode (HoloLens first Gen and HoloLens 2)

O modo de pesquisa é uma extensão do modo de desenvolvedor.Research Mode is an extension of Developer Mode. Antes de iniciar, os recursos do desenvolvedor do dispositivo precisam ser habilitados para acessar as configurações do modo de pesquisa:Before starting, the developer features of the device need to be enabled to access the Research Mode settings:

  • Abra o menu iniciar > configurações e selecione atualizações.Open Start Menu > Settings and select Updates.
  • Selecione para desenvolvedores e habilite o modo de desenvolvedor.Select For Developers and enable Developer Mode.
  • Role para baixo e habilite o Portal de Dispositivos.Scroll down and enable Device Portal.

Depois que os recursos do desenvolvedor estiverem habilitados, Conecte-se ao portal do dispositivo para habilitar os recursos do modo de pesquisa:After the developer features are enabled, connect to the device portal to enable the Research Mode features:

  • Vá para o sistema > modo de pesquisa no portal do dispositivo.Go to System > Research Mode in the Device Portal.
  • Selecione permitir acesso ao fluxo do sensor.Select Allow access to sensor stream.
  • Reinicie o dispositivo a partir do item de menu de energia na parte superior da página.Restart the device from the Power menu item at the top of the page.

Depois de reiniciar o dispositivo, os aplicativos carregados por meio do portal do dispositivo poderão acessar os fluxos do modo de pesquisa.Once you've restarted the device, the applications loaded through the Device Portal can access Research Mode streams.

Guia modo de pesquisa do portal do dispositivo do HoloLensResearch Mode tab of HoloLens Device Portal
Janela do modo de pesquisa no portal do dispositivo do HoloLensResearch Mode window in the HoloLens Device Portal

Importante

O modo de pesquisa para o HoloLens 2 está disponível a partir do Build 19041,1356.Research Mode for HoloLens 2 is available beginning with build 19041.1356. Se você precisar de acesso em uma compilação anterior, Inscreva-se em nosso programa Insider Preview .If you need access in an earlier build, sign up for our Insider Preview program.

Usando dados de sensor em seus aplicativosUsing sensor data in your apps

Os aplicativos podem acessar os dados de fluxo do sensor da mesma maneira que Media Foundation acessa fluxos de foto e de câmera de vídeo.Applications can access the sensor stream data in the same way that Media Foundation accesses photo and video camera streams.

Todas as APIs que funcionam para o desenvolvimento do HoloLens também estão disponíveis no modo de pesquisa.All APIs that work for HoloLens development are also available in Research Mode. Em particular, o aplicativo sabe precisamente onde o HoloLens está no espaço 6DoF em cada tempo de captura do quadro do sensor.In particular, the application knows precisely where HoloLens is in 6DoF space at each sensor frame capture time.

Temos aplicativos de exemplo mostrando acesso de fluxo do modo de pesquisa, usando intrínsecos e extrínsecos, e gravando fluxos:We have sample applications showing Research Mode stream access, using the intrinsics and extrinsics, and recording streams:

SuporteSupport

Para o HoloLens (primeira gen), use o Issue Tracker no repositório HoloLensForCV para postar comentários e acompanhar problemas conhecidos.For HoloLens (first gen), use the issue tracker in the HoloLensForCV repository to post feedback and track known issues.

Para o HoloLens 2, use o Issue Tracker no repositório HoloLens2ForCV para postar comentários e acompanhar problemas conhecidos.For HoloLens 2, use the issue tracker in the HoloLens2ForCV repository to post feedback and track known issues.

Veja tambémSee also