Câmara de vídeo de fotografias no Unity
Ativar a capacidade de acesso à câmara
A capacidade "WebCam" tem de ser declarada para que uma aplicação utilize a câmara.
- No Editor do Unity, aceda às definições do leitor ao navegar para a página "Editar > Leitor de Definições > do Projeto"
- Selecione o separador "Loja Windows"
- Na secção "Funcionalidades de Definições > de Publicação", verifique as capacidades da WebCam e do Microfone
Só pode ocorrer uma única operação com a câmara de cada vez. Pode verificar em UnityEngine.XR.WSA.WebCam.Mode
que modo a câmara se encontra atualmente no Unity 2018 e anterior ou UnityEngine.Windows.WebCam.Mode
no Unity 2019 e posterior. Os modos disponíveis são fotografia, vídeo ou nenhum.
Captura de fotografias
Espaço de nomes (antes do Unity 2019):UnityEngine.XR.WSA.WebCam
Espaço de nomes (Unity 2019 e posterior):UnityEngine.Windows.WebCam
Type:PhotoCapture
O tipo PhotoCapture permite-lhe tirar fotografias com a Câmara de Vídeo de Fotografias. O padrão geral para utilizar o PhotoCapture para tirar uma fotografia é o seguinte:
- Criar um objeto PhotoCapture
- Criar um objeto CameraParameters com as definições pretendidas
- Iniciar o Modo de Fotografia através de StartPhotoModeAsync
- Tire a fotografia que pretende
- (opcional) Interagir com essa imagem
- Parar o Modo de Fotografia e limpar recursos
Configuração comum do PhotoCapture
Para as três utilizações, comece com os mesmos três primeiros passos acima
Comece por criar um objeto PhotoCapture
private void Start()
{
PhotoCapture.CreateAsync(false, OnPhotoCaptureCreated);
}
Em seguida, armazene o objeto, defina os parâmetros e inicie o Modo de Fotografia
private PhotoCapture photoCaptureObject = null;
void OnPhotoCaptureCreated(PhotoCapture captureObject)
{
photoCaptureObject = captureObject;
Resolution cameraResolution = PhotoCapture.SupportedResolutions.OrderByDescending((res) => res.width * res.height).First();
CameraParameters c = new CameraParameters();
c.hologramOpacity = 0.0f;
c.cameraResolutionWidth = cameraResolution.width;
c.cameraResolutionHeight = cameraResolution.height;
c.pixelFormat = CapturePixelFormat.BGRA32;
captureObject.StartPhotoModeAsync(c, false, OnPhotoModeStarted);
}
No final, também irá utilizar o mesmo código de limpeza apresentado aqui
void OnStoppedPhotoMode(PhotoCapture.PhotoCaptureResult result)
{
photoCaptureObject.Dispose();
photoCaptureObject = null;
}
Após estes passos, pode escolher o tipo de fotografia a capturar.
Capturar uma fotografia para um ficheiro
A operação mais simples é capturar uma fotografia diretamente para um ficheiro. A fotografia pode ser guardada como JPG ou PNG.
Se tiver iniciado o modo de fotografia com êxito, tire uma fotografia e armazene-a no disco
private void OnPhotoModeStarted(PhotoCapture.PhotoCaptureResult result)
{
if (result.success)
{
string filename = string.Format(@"CapturedImage{0}_n.jpg", Time.time);
string filePath = System.IO.Path.Combine(Application.persistentDataPath, filename);
photoCaptureObject.TakePhotoAsync(filePath, PhotoCaptureFileOutputFormat.JPG, OnCapturedPhotoToDisk);
}
else
{
Debug.LogError("Unable to start photo mode!");
}
}
Depois de capturar a fotografia para o disco, saia do modo de fotografia e, em seguida, limpe os objetos
void OnCapturedPhotoToDisk(PhotoCapture.PhotoCaptureResult result)
{
if (result.success)
{
Debug.Log("Saved Photo to disk!");
photoCaptureObject.StopPhotoModeAsync(OnStoppedPhotoMode);
}
else
{
Debug.Log("Failed to save Photo to disk");
}
}
Capturar uma fotografia para uma Texture2D com localização
Ao capturar dados para um Texture2D, o processo é semelhante à captura para o disco.
Siga o processo de configuração acima.
Em OnPhotoModeStarted, capture uma moldura para a memória.
private void OnPhotoModeStarted(PhotoCapture.PhotoCaptureResult result)
{
if (result.success)
{
photoCaptureObject.TakePhotoAsync(OnCapturedPhotoToMemory);
}
else
{
Debug.LogError("Unable to start photo mode!");
}
}
Em seguida, aplicará o resultado a uma textura e utilizará o código de limpeza comum acima.
void OnCapturedPhotoToMemory(PhotoCapture.PhotoCaptureResult result, PhotoCaptureFrame photoCaptureFrame)
{
if (result.success)
{
// Create our Texture2D for use and set the correct resolution
Resolution cameraResolution = PhotoCapture.SupportedResolutions.OrderByDescending((res) => res.width * res.height).First();
Texture2D targetTexture = new Texture2D(cameraResolution.width, cameraResolution.height);
// Copy the raw image data into our target texture
photoCaptureFrame.UploadImageDataToTexture(targetTexture);
// Do as we wish with the texture such as apply it to a material, etc.
}
// Clean up
photoCaptureObject.StopPhotoModeAsync(OnStoppedPhotoMode);
}
Câmara localizável
Para colocar esta textura na cena e apresentá-la utilizando as matrizes de câmara localizáveis, adicione o seguinte código a OnCapturedPhotoToMemory na result.success
verificação:
if (photoCaptureFrame.hasLocationData)
{
photoCaptureFrame.TryGetCameraToWorldMatrix(out Matrix4x4 cameraToWorldMatrix);
Vector3 position = cameraToWorldMatrix.GetColumn(3) - cameraToWorldMatrix.GetColumn(2);
Quaternion rotation = Quaternion.LookRotation(-cameraToWorldMatrix.GetColumn(2), cameraToWorldMatrix.GetColumn(1));
photoCaptureFrame.TryGetProjectionMatrix(Camera.main.nearClipPlane, Camera.main.farClipPlane, out Matrix4x4 projectionMatrix);
}
O Unity forneceu código de exemplo para aplicar a matriz de projeção a um tom específico nos seus fóruns.
Capturar uma fotografia e interagir com os bytes não processados
Para interagir com os bytes não processados de um fotograma na memória, siga os mesmos passos de configuração acima e OnPhotoModeStarted como ao capturar uma fotografia para um Texture2D. A diferença é em OnCapturedPhotoToMemory , onde pode obter os bytes não processados e interagir com os mesmos.
Neste exemplo, irá criar uma Lista para ser processada ou aplicada a uma textura através de SetPixels()
void OnCapturedPhotoToMemory(PhotoCapture.PhotoCaptureResult result, PhotoCaptureFrame photoCaptureFrame)
{
if (result.success)
{
List<byte> imageBufferList = new List<byte>();
// Copy the raw IMFMediaBuffer data into our empty byte list.
photoCaptureFrame.CopyRawImageDataIntoBuffer(imageBufferList);
// In this example, we captured the image using the BGRA32 format.
// So our stride will be 4 since we have a byte for each rgba channel.
// The raw image data will also be flipped so we access our pixel data
// in the reverse order.
int stride = 4;
float denominator = 1.0f / 255.0f;
List<Color> colorArray = new List<Color>();
for (int i = imageBufferList.Count - 1; i >= 0; i -= stride)
{
float a = (int)(imageBufferList[i - 0]) * denominator;
float r = (int)(imageBufferList[i - 1]) * denominator;
float g = (int)(imageBufferList[i - 2]) * denominator;
float b = (int)(imageBufferList[i - 3]) * denominator;
colorArray.Add(new Color(r, g, b, a));
}
// Now we could do something with the array such as texture.SetPixels() or run image processing on the list
}
photoCaptureObject.StopPhotoModeAsync(OnStoppedPhotoMode);
}
Captura de vídeo
Espaço de nomes (antes do Unity 2019):UnityEngine.XR.WSA.WebCam
Espaço de nomes (Unity 2019 e posterior):UnityEngine.Windows.WebCam
Type:VideoCapture
As funções VideoCapture são semelhantes às do PhotoCapture. As duas únicas diferenças são que tem de especificar um valor de Frames Por Segundo (FPS) e só pode guardar diretamente no disco como um ficheiro .mp4. Os passos para utilizar o VideoCapture são os seguintes:
- Criar um objeto VideoCapture
- Criar um objeto CameraParameters com as definições pretendidas
- Iniciar o Modo de Vídeo através de StartVideoModeAsync
- Iniciar gravação de vídeo
- Parar de gravar vídeo
- Parar o Modo de Vídeo e limpar recursos
Comece por criar o nosso objeto VideoCaptureVideoCapture m_VideoCapture = nulo;
void Start ()
{
VideoCapture.CreateAsync(false, OnVideoCaptureCreated);
}
Em seguida, configure os parâmetros que pretende para a gravação e inicie.
void OnVideoCaptureCreated(VideoCapture videoCapture)
{
if (videoCapture != null)
{
m_VideoCapture = videoCapture;
Resolution cameraResolution = VideoCapture.SupportedResolutions.OrderByDescending((res) => res.width * res.height).First();
float cameraFramerate = VideoCapture.GetSupportedFrameRatesForResolution(cameraResolution).OrderByDescending((fps) => fps).First();
CameraParameters cameraParameters = new CameraParameters();
cameraParameters.hologramOpacity = 0.0f;
cameraParameters.frameRate = cameraFramerate;
cameraParameters.cameraResolutionWidth = cameraResolution.width;
cameraParameters.cameraResolutionHeight = cameraResolution.height;
cameraParameters.pixelFormat = CapturePixelFormat.BGRA32;
m_VideoCapture.StartVideoModeAsync(cameraParameters,
VideoCapture.AudioState.None,
OnStartedVideoCaptureMode);
}
else
{
Debug.LogError("Failed to create VideoCapture Instance!");
}
}
Uma vez iniciada, inicie a gravação
void OnStartedVideoCaptureMode(VideoCapture.VideoCaptureResult result)
{
if (result.success)
{
string filename = string.Format("MyVideo_{0}.mp4", Time.time);
string filepath = System.IO.Path.Combine(Application.persistentDataPath, filename);
m_VideoCapture.StartRecordingAsync(filepath, OnStartedRecordingVideo);
}
}
Após o início da gravação, pode atualizar a IU ou os comportamentos para ativar a paragem. Aqui, basta registar.
void OnStartedRecordingVideo(VideoCapture.VideoCaptureResult result)
{
Debug.Log("Started Recording Video!");
// We will stop the video from recording via other input such as a timer or a tap, etc.
}
Posteriormente, irá querer parar a gravação com um temporizador ou uma entrada de utilizador, por exemplo.
// The user has indicated to stop recording
void StopRecordingVideo()
{
m_VideoCapture.StopRecordingAsync(OnStoppedRecordingVideo);
}
Depois de parar a gravação, pare o modo de vídeo e limpe os seus recursos.
void OnStoppedRecordingVideo(VideoCapture.VideoCaptureResult result)
{
Debug.Log("Stopped Recording Video!");
m_VideoCapture.StopVideoModeAsync(OnStoppedVideoCaptureMode);
}
void OnStoppedVideoCaptureMode(VideoCapture.VideoCaptureResult result)
{
m_VideoCapture.Dispose();
m_VideoCapture = null;
}
Resolução de problemas
- Não existem resoluções disponíveis
- Certifique-se de que a capacidade webCam está especificada no seu projeto.
Próximo Ponto de Verificação de Desenvolvimento
Se estiver a seguir o percurso de ponto de verificação de desenvolvimento do Unity que definimos, está no meio de explorar as capacidades e APIs da plataforma de Mixed Reality. A partir daqui, pode continuar para o tópico seguinte:
Em alternativa, avance diretamente para a implementação da sua aplicação num dispositivo ou emulador:
Pode sempre voltar aos pontos de verificação de desenvolvimento do Unity em qualquer altura.