Gambaran Umum Efek Windows Studio (Pratinjau)

  • Artikel

Efek Windows Studio menggunakan AI pada perangkat Windows tertentu dengan Unit Pemrosesan Neural (NPU) yang kompatibel untuk menerapkan efek khusus pada kamera perangkat (saat ini mendukung kamera depan) atau mikrofon bawaan. Efek AI yang didukung oleh NPU meliputi:

  • Latar Belakang Kabur
  • Kontak Mata
  • Pembingkaian Otomatis
  • Fokus Suara

Animation showing Windows Studio Effects opening from the Windows 11 taskbar

Prasyarat

  • Windows 11, versi 22H2 atau yang lebih baru (Build 22623.885+).
  • Perangkat harus memiliki NPU yang didukung dan produsen perangkat keras harus memilih ikut serta dengan menginstal driver Efek Windows Studio pada sistem.

Bagaimana cara kerja Efek Windows Studio dengan perangkat keras perangkat Anda?

Windows Studio Effects memanfaatkan model AI yang dibangun oleh Microsoft dan dikompilasi/dioptimalkan untuk perangkat dengan Unit Pemrosesan Neural (NPU) untuk memberikan efek AI yang ramah baterai dan keakuratan tinggi yang mengurangi beban pada CPU dan GPU perangkat dan memberikan pengalaman Microsoft AI tepercaya yang menskalakan di seluruh ekosistem Windows untuk perangkat yang kompatibel.

Windows Studio Effects menstandarkan antarmuka kontrol untuk kamera perangkat dan mikrofon (properti dan API Streaming Kernel). Dengan menggunakan antarmuka kontrol ini, aplikasi apa pun dapat:

  • Menemukan apakah efek didukung
  • Mengaktifkan atau menonaktifkan efek sesuai kebutuhan
  • Mengakses metadata yang tersedia

Efek diterapkan pada tingkat perangkat keras untuk kamera (atau mikrofon), jadi setelah efek dihidupkan di Efek Windows Studio, efek tersebut aktif secara default untuk aplikasi apa pun yang menggunakan kamera, bahkan jika aplikasi tidak tahu tentang efeknya.

Pelajari selengkapnya tentang detail cara kerjanya di Arsitektur Efek Windows Studio.

Cara mengontrol Efek Windows Studio di Pengaturan

Efek Windows Studio dapat dibuka dari taskbar (seperti yang ditampilkan pada gambar di atas), tetapi juga dapat dikontrol dari menu Pengaturan.

  • Buka Pengaturan> Bluetooth & perangkat> Kamera s, lalu pilih dari daftar kamera yang Koneksi dan buka pengaturan untuk kamera tersebut.
  • Anda akan melihat pratinjau tampilan kamera depan Dan Efek Kamera tercantum di bawahnya.

Windows Studio Effects Camera Settings screenshot

Aplikasi Kamera Pengaturan adalah fitur baru di Windows 11 yang memungkinkan pelanggan untuk melihat semua kamera pada sistem mereka, memilih nilai "default" pilihan dari serangkaian kontrol berdasarkan per kamera, per pengguna, per mesin.

Aplikasi Kamera Pengaturan dapat menyesuaikan kontrol dasar, seperti Brightness dan Contrast, tetapi juga efek Windows Studio seperti Background Blur dan Eye Contact.

Aplikasi Kamera Pengaturan juga mendukung ekstensibilitas melalui aplikasi pendamping yang disediakan oleh produsen kamera. Aplikasi pendamping ini memungkinkan produsen perangkat untuk menawarkan antarmuka pengguna kustom mereka sendiri untuk menyesuaikan pengaturan kamera, dan/atau untuk memberikan kontrol untuk efek kamera kustom tambahan (misalnya, tombol aktif/mati untuk efek "Funny Hat" yang disediakan oleh produsen kamera).

Efek Windows Studio yang didukung untuk kamera front-facing terintegrasi, meliputi:

  • Efek Latar Belakang: Dua model yang didukung...
    • Standard Blur - efek kabur gaussian sederhana
    • Portrait Blur - efek kabur bergaya bokeh yang halus
  • Kontak Mata: Dua model yang didukung...
    • Standar - koreksi halang untuk pengguna perangkat yang melihat ke bawah dari kamera ke layar
    • Ditingkatkan - koreksi yang lebih agresif untuk pelanggan yang memindai mata mereka di seluruh layar saat mereka membaca konten
  • Pembingkaian Otomatis: Mendeteksi seseorang di bidang kamera tampilan dan memangkas/memperbesar tampilan agar tetap dibingkai
  • Fokus Suara: Efek mikrofon yang dirancang untuk memfilter kebisingan latar belakang, memastikan bahwa suara Anda muncul dengan jelas selama panggilan video.

Catatan

NPU berkapasitas lebih rendah dapat mendukung "Standard Blur", tetapi bukan "Portrait Blur" karena keterbatasan komputasi. Saat perangkat mendukung kabur Standar dan Potret, UI ditampilkan sebagai tombol Hidup/Mati untuk "Efek latar belakang" dengan pilihan tombol radio antara "Kabur standar" dan "Kabur Potret". Saat sistem hanya mendukung kabur Standar, UI ditampilkan sebagai tombol Aktif/Nonaktif untuk "Kabur latar belakang". Selain itu, NPU berkapasitas lebih rendah dapat mendukung efek Kontak Mata "Standar", tetapi bukan "Ditingkatkan", dengan UI menawarkan tombol Hidup/Mati dengan pilihan tombol radio termasuk efek "Ditingkatkan" saat didukung.

Arsitektur Efek Windows Studio

Ketika kamera memilih menggunakan Efek Windows Studio, paket Efek Windows Studio akan ditautkan ke akhir kamera. Ini terjadi secara transparan sehingga kamera "nyata" diganti dengan kamera "komposit" yang terdiri dari fitur kamera ditambah efek Windows Studio AI. Pelanggan akhir masih hanya melihat kamera "nyata", tetapi Efek Windows Studio sekarang tersedia atas nama kamera tersebut.

Diagram showing the

Kamera "Nyata" mencakup properti Kernal Streaming (KS), seperti Brightness, Contrast, dan properti yang diimplementasikan Microsoft lainnya, serta properti pelanggan apa pun yang diterapkan oleh driver produsen perangkat (OEM).

Karena Efek Windows Studio selalu merupakan item terakhir dalam rantai, aplikasi dapat diyakinkan bahwa jika Efek Windows Studio diaktifkan untuk kamera, bahwa properti Background Blur, Eye Contact, dan Automatic Framing KS yang diimplementasikan oleh kamera disediakan oleh Windows Studio Effects.

Ketika kamera tidak memilih untuk menggunakan Efek Studio Windows, aplikasi apa pun yang mengakses kamera hanya melihat properti KS kamera "Nyata" (Kecerahan, Kontras, dll).

Ketika kamera memilih untuk menggunakan Efek Studio Windows, aplikasi apa pun yang mengakses kamera dapat melihat properti KS kamera "Nyata", selain properti Windows Studio Effects KS yang mewakili efek AI, seperti Keburaman Latar Belakang, Kontak Mata, dll.

Jika ada implementasi kedua dari Properti KS yang sama yang lebih rendah dalam rantai (misalnya, DMFT dari OEM juga menerapkan efek Kabur Latar Belakang), implementasi tersebut akan tetap NONAKTIF karena nilai default untuk Properti Blur KS NONAKTIF. Ketika Blur diaktifkan untuk kamera, Windows Studio menangani permintaan tersebut secara internal dan tidak meneruskannya ke rantai ke komponen lain (DMFTs, driver AVStream, dll.).

Pendekatan ini memungkinkan produsen perangkat (OEM, seperti Dell atau Lenovo, dan IHV, seperti Intel, AMD, atau NVIDIA) untuk menerapkan fitur pemrosesan kamera mereka sendiri dalam DMFTs mereka atau langsung di kamera sebelum Windows Studio menambahkan pengalaman Windows AI standar di atasnya.

Integrasi aplikasi dengan Efek Windows Studio

Setiap kali aplikasi menggunakan WINDOWS API untuk memulai aliran kamera, Windows akan mengatur nilai properti Kernel Streaming (KS) saat ini agar sesuai dengan nilai default yang ditentukan dalam Efek Windows Studio Kamera Pengaturan sebelum menyerahkan kontrol ke aplikasi. Dengan mencocokkan nilai default yang ditentukan dalam Kamera Pengaturan, kamera akan selalu dimulai dalam keadaan yang diketahui.

Saat mengintegrasikan dengan Efek Windows Studio, aplikasi dapat:

  • Selalu terima default sistem - Pengguna menentukan pengaturan dasar (yaitu. Kecerahan) dalam Kamera Pengaturan, menerapkan nilai ini tanpa kontrol dalam aplikasi.
  • Mulai dari default sistem, tetapi pengguna menyesuaikan secara real time - Pengguna dapat menyesuaikan pengaturan kamera saat menggunakan aplikasi (yaitu slider Kecerahan dalam aplikasi) tanpa mengubah default sistem. Pengguna dapat memilih untuk menyimpan pengaturan kamera dalam aplikasi untuk membuat pengaturan default baru.

Jika aplikasi telah menulis nilai ke Properti KS yang juga memiliki nilai default yang ditetapkan dari halaman Pengaturan sebelum memulai aliran, Windows melompati penerapan nilai default pengguna saat memulai aliran. Misalnya, jika kecerahan default pengguna diatur ke 60, tetapi aplikasi mengatur nilai kecerahan saat ini ke 65 sebelum memulai streaming, kamera akan dimulai dengan kecerahan pada 65, bukan 60.

Catatan

Beberapa kontrol adalah bagian integral dari pengalaman aplikasi, sehingga aplikasi mungkin ingin selalu mengambil alih default sistem. Misalnya, Microsoft Teams melakukan ini dengan Efek Latar Belakang. Terlepas dari apakah pengguna mengaktifkan atau menonaktifkan kabur secara global di Halaman Kamera Pengaturan, kontrol Efek Latar Belakang terlihat saat bergabung dengan panggilan di Teams dan nilai yang dipilih di UI aplikasi tersebut akan diterapkan. Di bawah tenda, Teams dengan cerdas memanfaatkan segmentasi latar belakang yang dipercepat NPU Windows Studio untuk menerapkan efek kabur/penggantian latar belakang.

Terlepas dari pengalaman mana yang ditawarkan aplikasi Anda, selalu ada baiknya untuk menyediakan tombol /hyperlink dalam aplikasi untuk meluncurkan aplikasi Kamera Pengaturan. Kamera Pengaturan dapat diakses dengan tautan ini:ms-settings

Kamera Pengaturan untuk kamera tertentu dapat diluncurkan dengan format tautan ini:ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

Cuplikan kode sampel untuk memanggil Kamera Pengaturan untuk kamera tertentu

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Ini tersedia di Windows 11, versi 22H2 dan yang lebih baru. Pada versi Windows 11 yang lebih lama, memanggil tautan ini ms-settings akan membawa pengguna ke halaman Kamera Pengaturan root.

Menerapkan pengaturan kamera tambahan

Setelah aliran kamera diatur ke status yang diketahui, aplikasi dipersilakan untuk mengkueri dan menerapkan konfigurasi lebih lanjut, menulis nilai Properti KS baru ke kamera sesuai kebutuhan. Jika pelanggan menggunakan aplikasi yang tidak mengetahui kontrol kamera tertentu (misalnya, Brightness atau Background Blur), pengaturan untuk kontrol yang ditentukan pengguna dalam Kamera Pengaturan masih akan berlaku untuk aplikasi. Tetapi, jika pelanggan menggunakan aplikasi yang mengetahui kontrol tersebut, aplikasi dapat mengubah nilai kontrol tersebut saat ini saat menggunakan kamera.

Aplikasi tidak diizinkan untuk mengubah nilai default kontrol. Tindakan pencegahan ini memastikan bahwa satu aplikasi tidak mengubah perilaku aplikasi lain yang menggunakan kamera. Default hanya dapat diubah dari aplikasi Kamera Pengaturan.

Di Windows 11, versi 22H2, pelanggan yang memiliki perangkat yang mendukung Windows Studio Effects dapat mengaktifkan/menonaktifkan efek langsung dari Halaman Kamera Pengaturan, di samping pengaturan umum lainnya untuk perangkat keras kamera mereka.

Panduan Produsen Perangkat Keras Windows

Original Equipment Manufacturers (OEM) yang merancang perangkat keras dengan fitur Windows 11 terbaru dapat ikut serta menggunakan Windows Studio Effects.

Pemecahan Masalah

Aplikasi Windows Anda mungkin memiliki fungsionalitas dalam aplikasi yang tumpang tindih dengan efek AI yang diterapkan ke kamera Anda oleh Windows Studio Effects (misalnya, Background Blur). Jika aplikasi Kamera Pengaturan tidak mengelola status efek yang disediakan kamera, fungsionalitas dalam aplikasi Anda dapat tidak sinkron, menyebabkan masalah pengalaman pengguna.

Cara menghindari efek tumpang tindih

Pertimbangkan aplikasi yang menawarkan fitur Background Blur, berjalan pada sistem di mana kamera juga mendukung Properti Background Blur KS yang diterapkan oleh Windows Studio Effects dan aplikasi Kamera Pengaturan.

Jika pelanggan mengaktifkan Background Blur ON di aplikasi Windows Kamera Pengaturan, efek yang disediakan kamera akan diterapkan saat kamera dimulai. Kemudian, kontrol kabur dalam aplikasi akan ditampilkan sebagai NONAKTIF meskipun efek kabur jelas menyala, atau sebagai AKTIF dengan kabur ganda (kabur kamera ditambah efek kabur aplikasi Anda), membuang-buang sumber daya.

Saat berjalan pada perangkat yang didukung, sebaiknya manfaatkan Efek Windows Studio secara langsung untuk memberikan efek keakuratan tinggi dengan sumber daya sistem yang lebih rendah dan dampak masa pakai baterai. Dengan cara ini, ketika pelanggan berinteraksi dengan kontrol dalam aplikasi Anda, mereka langsung menyinkronkan ke fitur Windows Studio Effects kamera itu sendiri. Lihat bagian Integrasi aplikasi dengan Efek Windows Studio di atas untuk langkah-langkah tentang cara menyiapkan sinkronisasi ini dan menghindari masalah tumpang tindih ini.

Jika aplikasi Anda berjalan di perangkat yang mendukung Efek Windows Studio, tetapi Anda lebih suka efek diterapkan oleh layanan pihak ke-3 lain (atau tidak diterapkan sama sekali), Anda harus menonaktifkan Efek Windows Studio yang bertentangan.

Untuk menonaktifkan Efek Windows Studio:

  1. Periksa keberadaan Properti KS yang tumpang tindih.
  2. Jika properti tumpang tindih ada, atur ke NONAKTIF saat memulai kamera.

Misalnya, jika Anda ingin memastikan bahwa fitur kabur tingkat kamera nonaktif, periksa apakah kamera menawarkan KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION, dan jika demikian, pastikan diatur ke KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.

Sumber Daya Tambahan: