Lépés hangja észlelési mintaFootfall detection pattern

Ez a minta áttekintést nyújt egy mesterséges intelligencia-alapú lépés hangja-észlelési megoldás megvalósításáról a kiskereskedelmi üzletek látogatói forgalmának elemzéséhez.This pattern provides an overview for implementing an AI-based footfall detection solution for analyzing visitor traffic in retail stores. A megoldás az Azure-ban, Azure Stack hub-on és a Custom Vision AI fejlesztői csomagban bepillantást nyerhet a valós világbeli műveletekkel.The solution generates insights from real world actions, using Azure, Azure Stack Hub, and the Custom Vision AI Dev Kit.

Kontextus és problémaContext and problem

A contoso-áruházak elemzéseket szeretnének kapni arról, hogy az ügyfelek Hogyan kapják meg aktuális termékeiket az áruház elrendezésével kapcsolatban.Contoso Stores would like to gain insights on how customers are receiving their current products in relation to store layout. Nem helyezhetők el a személyzet minden szakaszba, és nem hatékony, hogy az elemzők egy csoportja áttekintse a teljes áruház kamerás felvételeit.They're unable to place staff in every section and it's inefficient to have a team of analysts review an entire store's camera footage. Emellett a tárolók egyike sem rendelkezik elegendő sávszélességgel, hogy az összes kameráról a felhőbe továbbítsa a videót elemzés céljából.In addition, none of their stores have enough bandwidth to stream video from all their cameras to the cloud for analysis.

A contoso szeretné megkeresni az ügyfelek demográfiai, lojalitási és adatkezelési lehetőségeit a kijelzők és termékek tárolására.Contoso would like to find an unobtrusive, privacy-friendly way to determine their customers' demographics, loyalty, and reactions to store displays and products.

MegoldásSolution

Ez a kiskereskedelmi elemzési minta egy lépcsőzetes megközelítést használ a szélén való következtetéshez.This retail analytics pattern uses a tiered approach to inferencing at the edge. A Custom Vision AI dev kit használatával csak az emberi arcokkal rendelkező képek lesznek ellátva az Azure Cognitive Services futtató privát Azure Stack hubhoz való elemzésre.By using the Custom Vision AI Dev Kit, only images with human faces are sent for analysis to a private Azure Stack Hub that runs Azure Cognitive Services. Anonim, összesített adatokat küld az Azure-ba az összes áruházban és vizualizációban Power BI.Anonymized, aggregated data is sent to Azure for aggregation across all stores and visualization in Power BI. A peremhálózat és a nyilvános felhő együttes használata lehetővé teszi, hogy a contoso kihasználja a modern AI-technológia előnyeit, miközben a vállalati szabályzatoknak való megfelelés és az ügyfelek magánéletének tiszteletben tartásával is rendelkezik.Combining the edge and public cloud lets Contoso take advantage of modern AI technology while also remaining in compliance with their corporate policies and respecting their customers' privacy.

Lépés hangja-észlelési minta megoldásFootfall detection pattern solution

Íme egy összefoglaló a megoldás működéséről:Here's a summary of how the solution works:

  1. A Custom Vision AI dev Kit IoT Hubtól származó konfigurációt kap, amely telepíti a IoT Edge futtatókörnyezetet és egy ML modellt.The Custom Vision AI Dev Kit gets a configuration from IoT Hub, which installs the IoT Edge Runtime and an ML model.
  2. Ha a modell egy személyt lát, egy képet helyez el, és feltölti Azure Stack hub blob Storage-ba.If the model sees a person, it takes a picture and uploads it to Azure Stack Hub blob storage.
  3. A blob szolgáltatás elindít egy Azure-függvényt Azure Stack hub-on.The blob service triggers an Azure Function on Azure Stack Hub.
  4. Az Azure-függvény egy tárolót hív meg a Face API, hogy demográfiai és érzelem-adatokhoz kapjon képet.The Azure Function calls a container with the Face API to get demographic and emotion data from the image.
  5. Az adatküldés egy Azure Event Hubs-fürtbe történik.The data is anonymized and sent to an Azure Event Hubs cluster.
  6. A Event Hubs-fürt leküldi az adatStream Analyticsba.The Event Hubs cluster pushes the data to Stream Analytics.
  7. Stream Analytics összesíti az adatokat, és leküldi Power BIre.Stream Analytics aggregates the data and pushes it to Power BI.

ÖsszetevőkComponents

Ez a megoldás a következő összetevőket használja:This solution uses the following components:

RétegLayer ÖsszetevőComponent DescriptionDescription
Tárolt hardverIn-store hardware Custom Vision AI fejlesztői csomagCustom Vision AI Dev Kit Egy helyi ML-modell használatával biztosítja az áruházbeli szűrést, amely csak az elemzésre alkalmas személyek képét rögzíti.Provides in-store filtering using a local ML model that only captures images of people for analysis. Biztonságos kiépítés és frissítés IoT Hubon keresztül.Securely provisioned and updated through IoT Hub.

AzureAzure Azure Event HubsAzure Event Hubs Az Azure Event Hubs méretezhető platformot biztosít a Azure Stream Analyticshoz szépen integrálható, névtelenül tárolt adatmennyiségek betöltéséhez.Azure Event Hubs provides a scalable platform for ingesting anonymized data that integrates neatly with Azure Stream Analytics.
Azure Stream AnalyticsAzure Stream Analytics Az Azure Stream Analytics-feladatok összesítik a névtelen adatokat, és a vizualizációk 15 másodperces Windowsba csoportosítják azokat.An Azure Stream Analytics job aggregates the anonymized data and groups it into 15-second windows for visualization.
Microsoft Power BIMicrosoft Power BI A Power BI egy könnyen használható irányítópult-felületet biztosít a Azure Stream Analytics kimenetének megtekintéséhez.Power BI provides an easy-to-use dashboard interface for viewing the output from Azure Stream Analytics.
Azure Stack hubAzure Stack Hub APP SERVICEApp Service A App Service erőforrás-szolgáltató (RP) egy alapot biztosít a peremhálózati összetevők számára, beleértve a Web Apps/API-k és függvények üzemeltetési és felügyeleti funkcióit.The App Service resource provider (RP) provides a base for edge components, including hosting and management features for web apps/APIs and Functions.
Azure Kubernetes szolgáltatás (ak) motorjának fürtjeAzure Kubernetes Service (AKS) Engine cluster Az Azure Stack hub-ba üzembe helyezett, AK-t tartalmazó AK RP egy méretezhető, rugalmas motort biztosít az Face API tároló futtatásához.The AKS RP with AKS-Engine cluster deployed into Azure Stack Hub provides a scalable, resilient engine to run the Face API container.
Azure Cognitive Services Face API tárolókAzure Cognitive Services Face API containers Az Azure Cognitive Services RP Face API tárolókkal biztosítja a demográfiai, érzelem-és egyedi látogatói észlelést a contoso magánhálózaton.The Azure Cognitive Services RP with Face API containers provides demographic, emotion, and unique visitor detection on Contoso's private network.
Blob StorageBlob Storage Az AI fejlesztői csomagból rögzített rendszerképek fel lesznek töltve az Azure Stack hub blob Storage-tárolóba.Images captured from the AI Dev Kit are uploaded to Azure Stack Hub's blob storage.
Azure FunctionsAzure Functions Azure Stack hub-on futó Azure-függvény fogadja a blob Storage-ból érkező adatokat, és kezeli az interakciókat a Face API.An Azure Function running on Azure Stack Hub receives input from blob storage and manages the interactions with the Face API. A rendszer az Azure-ban található Event Hubs-fürtre küldi el a névtelenül való adatgyűjtést.It emits anonymized data to an Event Hubs cluster located in Azure.

Problémák és megfontolandó szempontokIssues and considerations

A megoldás megvalósításának eldöntése során vegye figyelembe a következő szempontokat:Consider the following points when deciding how to implement this solution:

MéretezhetőségScalability

Ha engedélyezni szeretné, hogy a megoldás több kamera és hely között is méretezhető legyen, meg kell győződnie arról, hogy az összes összetevő képes kezelni a megnövekedett terhelést.To enable this solution to scale across multiple cameras and locations, you'll need to make sure that all of the components can handle the increased load. Előfordulhat, hogy olyan műveleteket kell végrehajtania, mint például:You may need to take actions like:

  • Növelje Stream Analytics folyamatos átviteli egységek számát.Increase the number of Stream Analytics streaming units.
  • A Face API üzembe helyezésének felskálázása.Scale out the Face API deployment.
  • Növelje a Event Hubs-fürt átviteli sebességét.Increase the Event Hubs cluster throughput.
  • Szélsőséges esetekben szükség lehet a Azure Functionsról a virtuális gépre való Migrálás.For extreme cases, migrate from Azure Functions to a virtual machine may be necessary.

Rendelkezésre állásAvailability

Mivel ez a megoldás többrétegű, fontos, hogy meggondolja, hogyan kell kezelni a hálózati vagy áramkimaradásokat.Since this solution is tiered, it's important to think about how to deal with networking or power failures. Az üzleti igényektől függően érdemes lehet megvalósítani egy olyan mechanizmust, amely helyileg gyorsítótárazza a lemezképeket, majd a kapcsolat visszaadásakor továbbítja Azure Stack hubhoz.Depending on business needs, you might want to implement a mechanism to cache images locally, then forward to Azure Stack Hub when connectivity returns. Ha a hely elég nagy, akkor lehet, hogy egy Data Box Edge üzembe helyezése a Face API tárolóval az adott helyen jobb megoldás lehet.If the location is large enough, deploying a Data Box Edge with the Face API container to that location might be a better option.

KezelhetőségManageability

Ez a megoldás számos eszközre és helyszínre képes, így nem lehet megszerezni a megoldást.This solution can span many devices and locations, which could get unwieldy. Az Azure IoT-szolgáltatásaival automatikusan online állapotba helyezhetők az új telephelyek és eszközök, és naprakészen tarthatók.Azure's IoT services can be used to automatically bring new locations and devices online and keep them up to date.

BiztonságSecurity

Ez a megoldás rögzíti a vásárlói rendszerképeket, így a biztonság a legfontosabb szempont.This solution captures customer images, making security a paramount consideration. Győződjön meg arról, hogy az összes Storage-fiók biztonságos a megfelelő hozzáférési házirendekkel, és hogy rendszeresen forgatni kívánja a kulcsokat.Make sure all storage accounts are secured with the proper access policies and rotate keys regularly. Győződjön meg arról, hogy a Storage-fiókok és a Event Hubs rendelkeznek a vállalati és kormányzati adatvédelmi szabályozásoknak megfelelő adatmegőrzési szabályzatokkalEnsure storage accounts and Event Hubs have retention policies that meet corporate and government privacy regulations. Győződjön meg arról is, hogy a felhasználói hozzáférési szintek rétegben vannak.Also make sure to tier the user access levels. A rétegek biztosítása biztosítja, hogy a felhasználók csak a szerepkörük számára szükséges adathoz férhessenek hozzá.Tiering ensures that users only have access to the data they need for their role.

Következő lépésekNext steps

További információ a cikkben bemutatott témakörökről:To learn more about the topics introduced in this article:

Ha készen áll a megoldás tesztelésére, folytassa a lépés hangja- észlelés telepítési útmutatóját.When you're ready to test the solution example, continue with the Footfall detection deployment guide. A telepítési útmutató részletes útmutatást nyújt az összetevők üzembe helyezéséhez és teszteléséhez.The deployment guide provides step-by-step instructions for deploying and testing its components.