Visão geral do Windows Studio Effects (Preview)

O Windows Studio Effects utiliza IA em dispositivos Windows selecionados com NPUs (Unidades de Processamento Neural) compatíveis para aplicar efeitos especiais à câmera (atualmente oferece suporte à câmera frontal) ou ao microfone integrado do dispositivo. Os efeitos de IA suportados pela NPU incluem:

• Desfoque em segundo plano
• Contato visual
• Enquadramento automático
• Foco de voz
• Iluminação de retrato
• Filtros criativos
• Teleprompter de contato visual

Pré-requisitos

• Windows 11 Versão 22H2 ou mais recente (Build 22623.885+).
• O dispositivo deve ter uma NPU compatível e o fabricante do hardware deve ter optado por instalar o driver do Windows Studio Effect no sistema.

Como o Windows Studio Effects funciona com o hardware do dispositivo?

O Windows Studio Effects aproveita modelos de IA criados pela Microsoft e compilados/otimizados para dispositivos com uma Unidade de Processamento Neural (NPU) para fornecer efeitos de IA de alta fidelidade e compatíveis com a bateria, que reduzem a carga sobre a CPU e a GPU do dispositivo e oferecem uma experiência de IA confiável da Microsoft que se expande por todo o ecossistema Windows para qualquer dispositivo compatível.

O Windows Studio Effects padroniza as interfaces de controle para a câmera e o microfone do dispositivo (propriedades e APIs do Kernel Streaming). Usando essa interface de controle, qualquer aplicativo pode:

• Descobrir se os efeitos são suportados
• Ativar ou desativar efeitos conforme a necessidade
• Acessar todos os metadados disponíveis

Os efeitos são aplicados no nível de hardware para a câmera (ou microfone), de modo que, quando um efeito é ativado no Windows Studio Effects, ele é ativado por padrão para qualquer aplicativo que use a câmera, mesmo que o aplicativo não tenha conhecimento do efeito.

Saiba mais sobre os detalhes de como isso funciona em Arquitetura do Windows Studio Effects.

Como controlar o Windows Studio Effects em Configurações

O Windows Studio Effects pode ser aberto na barra de tarefas (conforme exibido na imagem acima), mas também pode ser controlado no menu Configurações.

• Abra Configurações>Bluetooth e dispositivos>Câmeras, selecione na lista de Câmeras conectadas e abra as configurações dessa câmera.
• Você verá uma visualização da tela da câmera frontal e os Efeitos da câmera listados abaixo dela.

O aplicativo Configurações da câmera é um novo recurso do Windows 11 que permite que os clientes visualizem todas as câmeras em seus sistemas, selecionando valores "padrão" preferidos de um conjunto de controles por câmera, por usuário e por máquina.

O aplicativo Configurações da câmera pode ajustar controles básicos, como Brilho e Contraste, mas também efeitos do Windows Studio, como Desfoque de fundo e Contato visual.

O aplicativo Configurações da câmera também oferece suporte à extensibilidade por meio de aplicativos complementares fornecidos pelos fabricantes de câmeras. Esses aplicativos complementares permitem que os fabricantes de dispositivos ofereçam sua própria interface de usuário personalizada para ajustar as configurações da câmera e/ou fornecer controles para outros efeitos de câmera personalizados (por exemplo, um botão para ativar/desativar um efeito de "chapéu engraçado" fornecido pelo fabricante da câmera).

O Windows Studio Effects com suporte para a câmara frontal integrada inclui:

• Efeitos de fundo: dois modelos suportados...
  • Desfoque de fundo - um efeito simples de desfoque gaussiano.
  • Desfoque retrato - um efeito de desfoque sutil estilo bokeh. Dependendo da capacidade do dispositivo, ele pode ser um desfoque sutil ou profundo.
• Contato visual: dois modelos suportados...
  • Padrão - correção sutil, para um usuário do dispositivo que desvia o olhar da câmera para a tela. *Não ajusta o movimento esquerdo ou direito dos olhos.
  • Teleprompter - correção mais agressiva, para um cliente que varre a tela com os olhos enquanto lê o conteúdo do teleprompter.
• Enquadramento automático: detecta uma pessoa no campo de visão da câmera e corta/ajusta o tamanho para mantê-la enquadrada.
• Iluminação de retrato: melhora a qualidade da iluminação da pessoa no vídeo em um ambiente mal iluminado, remove o reflexo forte da luz da tela.
• Filtros criativos: filtros de vídeo para adicionar um pouco de diversão e brilho.

Observação

NPUs de menor capacidade podem suportar "Desfoque padrão", mas não "Desfoque retrato", devido a limitações de computação. Quando um dispositivo suporta desfoque padrão e retrato, a interface do usuário é exibida como uma chave liga/desliga para "Efeitos de fundo", com os botões de opção "Desfoque padrão" e "Desfoque retrato". Quando um sistema só dá suporte ao Desfoque padrão, a interface do usuário é exibida como uma chave liga/desliga para o "Desfoque de fundo". Além disso, as NPUs de capcidade mais baixa podem suportar efeitos de Contato visual "Padrão", mas não "Teleprompter", com a interface do usuário oferecendo uma chave liga/desliga com botões de opção contendo o efeito "Teleprompter", quando suportado.

O Windows Studio Effects com suporte para o microfone integrado inclui:

• Foco de voz: um efeito de microfone projetado para filtrar o ruído de fundo, garantindo que sua voz seja reproduzida claramente durante as chamadas de vídeo.

Arquitetura do Windows Studio Effects

Quando uma câmera aceita usar o Windows Studio Effects, o pacote Studio Effects do Windows Studio Effects é encadeado ao final da câmera. Isso acontece de forma transparente para que a câmera "real" seja substituída por uma câmera "composta", que consiste nos recursos da câmera mais os efeitos de IA do Windows Studio. O cliente final ainda vê apenas a câmera "real", mas os efeitos do Windows Studio Effects agora estão disponíveis em favor dessa câmera.

A câmera "Real" inclui propriedades Kernal Streaming (KS), como Brilho, Contraste e outras propriedades implementadas pela Microsoft, bem como quaisquer propriedades do cliente implementadas pelo driver do fabricante do dispositivo (OEM).

Como o Windows Studio Effects é sempre o último item da cadeia, os aplicativos podem ter certeza de que, se o Windows Studio Effects estiver habilitado para uma câmera, as propriedades KS Desfoque de fundo, Contato visual e Enquadramento automático implementadas pela câmera serão fornecidas pelo Windows Studio Effects.

Quando a câmera não aceita usar o Windows Studio Effects, todos os aplicativos que acessam a câmera veem apenas as propriedades KS da câmera "Real" (Brilho, Contraste etc.).

Quando a câmera aceita usar o Windows Studio Effects, todos os aplicativos que acessam a câmera podem ver as propriedades KS da câmera "Real", além das propriedades KS do Windows Studio Effects que representam efeitos de IA, como Desfoque da tela de fundo, Contato visual etc.

No caso de uma segunda implementação da mesma propriedade KS inferior na cadeia (por exemplo, um DMFT do OEM também implementa o efeito de Desfoque de fundo), essa implementação permanecerá "desativada", uma vez que o valor padrão para a propriedade KS Blur é "desativada". Quando o Blur está ativado para a câmera, o Windows Studio trata dessa solicitação internamente e não a encaminha até a cadeia para outros componentes (DMFTs, driver AVStream etc.).

Essa abordagem permite que os fabricantes de dispositivos (OEMs, como Dell ou Lenovo, e IHVs, como Intel, AMD ou NVIDIA) implementem seus próprios recursos de processamento de câmera em seus DMFTs ou diretamente na câmera antes que o Windows Studio adicione as experiências padrão de IA do Windows em cima disso.

Integração de aplicativos com o Windows Studio Effects

Sempre que qualquer aplicativo usar APIs do Windows para iniciar o fluxo da câmera, o Windows definirá o valor atual da propriedade Kernel Streaming (KS) para corresponder ao valor padrão especificado nas Configurações de câmera do Windows Studio Effects antes de passar o controle para o aplicativo. Ao corresponder o valor padrão especificado em Configurações da câmera, a câmera sempre será iniciada em um estado conhecido.

Ao integrar com o Windows Studio Effects, um aplicativo poderá:

• Sempre aceitar o padrão do sistema - O usuário determina as configurações básicas (por exemplo, Brilho) nas Configurações da câmera, aplicando esse valor sem nenhum controle no aplicativo.
• Iniciar no padrão do sistema, mas o usuário ajusta em tempo real - O usuário pode ajustar as configurações da câmera enquanto usa o aplicativo (por exemplo, um controle deslizante de brilho dentro do aplicativo) sem alterar o padrão do sistema. O usuário pode optar por salvar a configuração da câmera no aplicativo para estabelecer uma nova configuração padrão.

Se o aplicativo já tiver gravado um valor em uma Propriedade KS que também tenha um valor padrão definido na página Configurações antes de iniciar o stream, o Windows ignorará a aplicação do valor padrão do usuário ao iniciar o stream. Por exemplo, se o brilho padrão do usuário for definido como 60, mas o aplicativo definir o valor atual de brilho como 65 antes de iniciar o stream, a câmera começará com brilho em 65 em vez de 60.

Observação

Alguns controles são tão integrados à experiência do aplicativo que o aplicativo pode querer sempre substituir o padrão do sistema. Por exemplo, o Microsoft Teams faz isso com efeitos em segundo plano. Independentemente de o usuário ter habilitado ou desabilitado o desfoque globalmente na página Configurações da câmera, o controle Efeitos de tela de fundo ficará visível ao ingressar em uma chamada no Teams e o valor selecionado na interface do usuário do aplicativo será aplicado. Por trás disso, o Teams aproveita de forma inteligente a segmentação de fundo acelerada por NPU do Windows Studio para aplicar os efeitos de desfoque/substituição de fundo.

Independentemente da experiência que seu aplicativo oferece, é sempre uma boa ideia fornecer um botão/hiperlink no aplicativo para iniciar o aplicativo Configurações da câmera. As Configurações da câmera podem ser acessadas neste link: ms-settings

As Configurações da câmera para uma câmera específica podem ser iniciadas com este formato de link: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

Trecho de código de exemplo para invocar Configurações da câmera para uma câmera específica

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Isso está disponível no Windows 11, versão 22H2 e mais recente. Em versões mais antigas do Windows 11, invocar esse link ms-settings levará o usuário à página raiz de Configurações da câmera.

Aplicar configurações adicionais da câmera

Depois que o stream da câmera é definido para um estado conhecido, um aplicativo pode consultar e aplicar configurações adicionais, gravando novos valores de Propriedade KS na câmera conforme a necessidade. Se um cliente usar um aplicativo que não esteja ciente de controles específicos da câmera (por exemplo, Brilho ou Desfoque de fundo), as configurações desses controles especificadas pelo usuário nas Configurações da câmera ainda se aplicarão ao aplicativo. Mas, se um cliente usa um aplicativo que está ciente desses controles, o aplicativo é capaz de alterar o valor atual desses controles ao usar a câmera.

Os aplicativos não têm permissão para alterar o valor padrão dos controles. Essa precaução garante que um aplicativo não altere o comportamento de outros aplicativos que usam a câmera. Os padrões só podem ser alterados no aplicativo Configurações da câmera.

No Windows 11, versão 22H2, os clientes que têm um dispositivo com suporte ao Windows Studio Effects podem ativar ou desativar os efeitos diretamente da página Configurações da câmera, juntamente com outras configurações comuns para o hardware da câmera.

Orientações do fabricante de hardware para Windows

Os fabricantes de equipamentos originais (OEMs) que estiverem projetando hardware com os recursos mais recentes do Windows 11 podem optar por usar o Windows Studio Effects Studio Effects.

Solução de problemas

Seu aplicativo Windows pode ter alguma funcionalidade existente no aplicativo que se sobrepõe aos efeitos de IA aplicados à sua câmera pelo Windows Studio Effects (por exemplo, Desfoque da tela de fundo). Se o aplicativo Configurações da câmera não gerenciar o estado dos efeitos fornecidos pela câmera, sua funcionalidade no aplicativo pode ficar fora de sincronia, causando problemas na experiência do usuário.

Como evitar efeitos sobrepostos

Considere um aplicativo que ofereça um recurso Desfoque da tela de fundo, em execução em um sistema em que a câmera também ofereça suporte à Propriedade KS Desfoque da tela de fundo aplicada pelo Windows Studio Effects e pelo aplicativo Configurações da Câmera.

Se o cliente ATIVOU o Desfoque de fundo no aplicativo Configurações da Câmera do Windows, o efeito fornecido pela câmera será aplicado quando a câmera for iniciada. Em seguida, o controle de desfoque no aplicativo seria exibido como DESATIVADO , apesar de um efeito de desfoque claramente estar ativado, ou como ATIVADO com um desfoque duplo (o desfoque da câmera mais o efeito de desfoque do aplicativo), desperdiçando recursos.

Ao executar em um dispositivo compatível, recomendamos utilizar diretamente o Windows Studio Effects para fornecer efeitos de alta fidelidade com menor impacto nos recursos do sistema e na vida útil da bateria. Dessa forma, quando um cliente interage com seus controles no aplicativo, ele sincroniza diretamente com os recursos do Windows Studio Effects da própria câmera. Consulte a seção Integração do aplicativo com o Windows Studio Effects acima para ver as etapas sobre como configurar o sincronismo e evitar esse problema de sobreposição.

Se seu aplicativo estiver sendo executado em um dispositivo que ofereça suporte ao Windows Studio Effects, mas você preferir que os efeitos sejam aplicados por outro serviço de terceiros (ou que não sejam aplicados), desative o Windows Studio Effects conflitante.

Para desativar o Windows Studio Effects:

1. Verifique a presença de Propriedades KS sobrepostas.
2. Se houver alguma propriedade sobreposta, defina-a como DESATIVADA ao iniciar a câmera.

Por exemplo, se você deseja garantir que o recurso de desfoque no nível da câmera esteja desativado, verifique se a câmera oferece a propriedade KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION e, em caso afirmativo, verifique se ela está definida como KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.

Recursos adicionais

• Gerenciar câmeras com Configurações da câmera no Windows 11: suporte ao Windows Studio Effects
• Os benefícios dos dispositivos com experiências de IA