Pola deteksi footfall
Pola ini memberikan gambaran umum untuk menerapkan solusi deteksi langkah kaki berbasis AI untuk menganalisis lalu lintas pengunjung di toko ritel. Solusi menghasilkan wawasan dari tindakan dunia nyata dengan menggunakan Azure, Azure Stack Hub, dan Custom Vision AI Dev Kit.
Konteks dan masalah
Contoso Stores ingin mendapatkan wawasan tentang cara pelanggan menerima produk mereka saat ini sehubungan dengan tata letak toko. Mereka tidak dapat menempatkan staf di setiap bagian dan tidak efisien untuk memiliki tim analis meninjau rekaman kamera seluruh toko. Selain itu, tidak ada toko mereka yang memiliki bandwidth yang cukup untuk melakukan streaming video dari semua kamera ke cloud untuk dianalisis.
Contoso ingin menemukan cara yang tidak mengganggu dan ramah privasi untuk menentukan demografi, loyalitas, dan reaksi pelanggan mereka terhadap display dan produk toko.
Solusi
Pola analitik ritel ini menggunakan pendekatan bertingkat untuk membuat kesimpulan di tepi. Dengan menggunakan Custom Vision AI Dev Kit, hanya gambar dengan wajah manusia yang dikirim untuk dianalisis ke Azure Stack Hub pribadi yang menjalankan Azure Cognitive Services. Data agregat anonim dikirim ke Azure untuk agregasi di semua toko dan visualisasi di Power BI. Menggabungkan tepi dan cloud publik memungkinkan Contoso memanfaatkan teknologi AI modern sambil juga tetap mematuhi kebijakan perusahaan dan menghormati privasi pelanggan mereka.
Berikut adalah ringkasan cara kerja solusinya:
- Custom Vision AI Dev Kit mendapatkan konfigurasi dari IoT Hub, yang menginstal IoT Edge Runtime dan model ML.
- Jika model melihat seseorang, model mengambil gambar dan mengunggahnya ke penyimpanan blob Azure Stack Hub.
- Layanan blob memicu Azure Functions di Azure Stack Hub.
- Azure Functions memanggil kontainer dengan Face API untuk mendapatkan data demografis dan emosi dari gambar.
- Data dianonimkan dan dikirim ke kluster Azure Event Hubs.
- Kluster Event Hubs mendorong data ke Stream Analytics.
- Stream Analytics mengumpulkan data dan mendorongnya ke Power BI.
Komponen
Solusi ini menggunakan komponen-komponen berikut:
| Lapisan | Komponen | Deskripsi |
|---|---|---|
| Perangkat keras dalam toko | Custom Vision AI Dev Kit | Menyediakan pemfilteran di dalam toko menggunakan model ML lokal yang hanya menangkap gambar orang untuk dianalisis. Disediakan dan diperbarui dengan aman melalui IoT Hub. |
| Azure | Azure Event Hubs | Azure Event Hubs menyediakan platform yang dapat diskalakan untuk menyerap data anonim yang terintegrasi dengan rapi dengan Azure Stream Analytics. |
| Azure Stream Analytics | Pekerjaan Azure Stream Analytics menggabungkan data anonim dan mengelompokkannya ke dalam jendela 15 detik untuk visualisasi. | |
| Microsoft Power BI | Power BI menyediakan antarmuka dasbor yang mudah digunakan untuk melihat output dari Azure Stream Analytics. | |
| Azure Stack Hub | App Service | Penyedia sumber daya (RP) App Service menyediakan basis untuk komponen tepi, termasuk fitur hosting dan manajemen untuk aplikasi web/API dan Functions. |
| Kluster (AKS) Engine Azure Kubernetes Service | AKS RP dengan kluster AKS Engine yang disebarkan ke Azure Stack Hub menyediakan mesin yang dapat diskalakan dan tangguh untuk menjalankan kontainer Face API. | |
| Kontainer Face API Azure Cognitive Services | RP Azure Cognitive Services dengan kontainer Face API menyediakan deteksi pengunjung demografis, emosi, dan unik di jaringan privat Contoso. | |
| Penyimpanan Blob | Gambar yang diambil dari AI Dev Kit diunggah ke penyimpanan blob Azure Stack Hub. | |
| Azure Functions | Azure Functions yang berjalan di Azure Stack Hub menerima masukan dari penyimpanan blob dan mengelola interaksi dengan Face API. Ini memancarkan data anonim ke kluster Event Hubs yang terletak di Azure. |
Masalah dan pertimbangan
Pertimbangkan poin-poin berikut saat memutuskan cara menerapkan solusi ini:
Skalabilitas
Untuk mengaktifkan solusi ini guna menskalakan di beberapa kamera dan lokasi, Anda harus memastikan bahwa semua komponen dapat menangani peningkatan beban. Anda mungkin perlu mengambil tindakan seperti:
- Meningkatkan jumlah unit streaming Stream Analytics.
- Menskalakan penyebaran Face API.
- Meningkatkan throughput kluster Event Hubs.
- Untuk kasus ekstrem, migrasi dari Azure Functions ke komputer virtual mungkin diperlukan.
Ketersediaan
Karena solusi ini bertingkat, penting untuk memikirkan cara menangani jaringan atau kegagalan daya. Bergantung pada kebutuhan bisnis, Anda mungkin ingin menerapkan mekanisme untuk menyimpan cache gambar secara lokal, lalu meneruskan ke Azure Stack Hub saat konektivitas kembali. Jika lokasinya cukup besar, menyebarkan Data Box Edge dengan kontainer Face API ke lokasi tersebut mungkin merupakan pilihan yang lebih baik.
Pengelolaan
Solusi ini dapat menjangkau banyak perangkat dan lokasi, yang bisa menjadi berat. Layanan IoT Azure dapat digunakan untuk secara otomatis menghadirkan lokasi dan perangkat baru secara online dan memperbaruinya.
Keamanan
Solusi ini menangkap gambar pelanggan, menjadikan keamanan sebagai pertimbangan utama. Pastikan semua akun penyimpanan diamankan dengan kebijakan akses yang tepat dan putar kunci secara teratur. Pastikan akun penyimpanan dan Event Hubs memiliki kebijakan retensi yang memenuhi peraturan privasi perusahaan dan pemerintah. Juga pastikan untuk tingkat akses pengguna. Tingkat memastikan bahwa pengguna hanya memiliki akses ke data yang dibutuhkan untuk peran mereka.
Langkah berikutnya
Untuk mempelajari lebih lanjut tentang topik yang diperkenalkan dalam artikel ini:
- Lihat Pola Data Bertingkat, yang dimanfaatkan oleh pola deteksi langkah kaki.
- Lihat Custom Vision AI Dev Kit untuk mempelajari lebih lanjut tentang menggunakan visi kustom.
Saat Anda siap menguji contoh solusi, lanjutkan dengan Panduan penyebaran deteksi footfall. Panduan penyebaran memberikan petunjuk langkah demi langkah untuk menyebarkan dan menguji komponennya.