Patroon voor voetvaldetectie
Dit patroon biedt een overzicht voor het implementeren van een op AI gebaseerde oplossing voor voetvaldetectie voor het analyseren van bezoekersverkeer in winkels. De oplossing genereert inzichten uit echte acties, met behulp van Azure, Azure Stack Hub en de Custom Vision AI Dev Kit.
Context en probleem
Contoso Stores wil inzicht krijgen in de manier waarop klanten hun huidige producten ontvangen ten opzichte van de winkelindeling. Ze kunnen geen personeel in elke sectie plaatsen en het is inefficiënt om een team van analisten de camerabeelden van een hele winkel te laten bekijken. Bovendien heeft geen van hun winkels voldoende bandbreedte om video van al hun camera's naar de cloud te streamen voor analyse.
Contoso wil een onopvallende, privacyvriendelijke manier vinden om de demografische gegevens, loyaliteit en reacties van hun klanten op te slaan en producten op te slaan.
Oplossing
Dit patroon voor retailanalyse maakt gebruik van een gelaagde benadering voor de deductie aan de rand. Met behulp van de Custom Vision AI Dev Kit worden alleen afbeeldingen met menselijke gezichten verzonden voor analyse naar een persoonlijke Azure Stack Hub waarop Azure Cognitive Services wordt uitgevoerd. Geanonimiseerde, geaggregeerde gegevens worden verzonden naar Azure voor aggregatie in alle winkels en visualisaties in Power BI. Door de rand en de openbare cloud te combineren, kan Contoso profiteren van moderne AI-technologie, terwijl ze ook voldoen aan hun bedrijfsbeleid en de privacy van hun klanten respecteren.
Hier volgt een samenvatting van de werking van de oplossing:
- De Custom Vision AI Dev Kit krijgt een configuratie van IoT Hub, waarmee de IoT Edge Runtime en een ML-model worden geïnstalleerd.
- Als het model een persoon ziet, wordt er een foto gemaakt en geüpload naar Azure Stack Hub Blob Storage.
- De Blob-service activeert een Azure-functie in Azure Stack Hub.
- De Azure-functie roept een container aan met de Face-API om demografische en emotiegegevens van de afbeelding op te halen.
- De gegevens worden geanonimiseerd en verzonden naar een Azure Event Hubs cluster.
- Het Event Hubs-cluster pusht de gegevens naar Stream Analytics.
- Stream Analytics aggregeert de gegevens en pusht deze naar Power BI.
Onderdelen
Deze oplossing maakt gebruik van de volgende onderdelen:
| Laag | Onderdeel | Beschrijving |
|---|---|---|
| In-store hardware | Custom Vision AI Dev Kit | Biedt filteren in de winkel met behulp van een lokaal ML model dat alleen afbeeldingen van personen voor analyse vastlegt. Veilig ingericht en bijgewerkt via IoT Hub. |
| Azure | Azure Event Hubs | Azure Event Hubs biedt een schaalbaar platform voor het opnemen van geanonimiseerde gegevens die netjes kunnen worden geïntegreerd met Azure Stream Analytics. |
| Azure Stream Analytics | Een Azure Stream Analytics-taak aggregeert de geanonimiseerde gegevens en groepeert deze in 15 seconden voor visualisatievensters. | |
| Microsoft Power BI | Power BI biedt een gebruiksvriendelijke dashboardinterface voor het weergeven van de uitvoer van Azure Stream Analytics. | |
| Azure Stack Hub | App Service | De App Service resourceprovider (RP) biedt een basis voor edge-onderdelen, waaronder hosting- en beheerfuncties voor web-apps/API's en Functies. |
| AKS-enginecluster (Azure Kubernetes Service) | De AKS-RP met AKS-Engine-cluster dat in Azure Stack Hub is geïmplementeerd, biedt een schaalbare, flexibele engine voor het uitvoeren van de Face-API-container. | |
| Face-API-containers van Azure Cognitive Services | De Azure Cognitive Services RP met Face API-containers biedt demografische, emotie- en unieke bezoekersdetectie in het particuliere netwerk van Contoso. | |
| Blob Storage | Afbeeldingen die zijn vastgelegd vanuit de AI Dev Kit, worden geüpload naar de blobopslag van Azure Stack Hub. | |
| Azure Functions | Een Azure-functie die wordt uitgevoerd op Azure Stack Hub ontvangt invoer van blobopslag en beheert de interacties met de Face-API. Er worden geanonimiseerde gegevens verzonden naar een Event Hubs-cluster in Azure. |
Problemen en overwegingen
Houd rekening met de volgende punten bij het bepalen hoe u deze oplossing implementeert:
Schaalbaarheid
Als u deze oplossing wilt inschakelen voor het schalen van meerdere camera's en locaties, moet u ervoor zorgen dat alle onderdelen de verhoogde belasting kunnen afhandelen. Mogelijk moet u acties ondernemen zoals:
- Verhoog het aantal Stream Analytics-streaming-eenheden.
- Schaal de implementatie van de Face-API uit.
- Verhoog de doorvoer van het Event Hubs-cluster.
- Voor extreme gevallen kan het nodig zijn om van Azure Functions naar een virtuele machine te migreren.
Beschikbaarheid
Omdat deze oplossing gelaagd is, is het belangrijk om na te denken over het omgaan met netwerk- of stroomstoringen. Afhankelijk van de bedrijfsbehoeften wilt u mogelijk een mechanisme implementeren om installatiekopieën lokaal op te cachen en vervolgens doorsturen naar Azure Stack Hub wanneer de connectiviteit wordt geretourneerd. Als de locatie groot genoeg is, is het implementeren van een Data Box Edge met de Face-API-container op die locatie mogelijk een betere optie.
Beheerbaarheid
Deze oplossing kan veel apparaten en locaties omvatten, wat onhandig kan worden. De IoT-services van Azure kunnen worden gebruikt om automatisch nieuwe locaties en apparaten online te brengen en ze up-to-date te houden.
Beveiliging
Deze oplossing legt klantafbeeldingen vast, waardoor beveiliging een belangrijke overweging wordt. Zorg ervoor dat alle opslagaccounts zijn beveiligd met het juiste toegangsbeleid en regelmatig sleutels roteren. Zorg ervoor dat opslagaccounts en Event Hubs bewaarbeleid hebben die voldoen aan de privacyvoorschriften van het bedrijf en de overheid. Zorg er ook voor dat u de toegangsniveaus van de gebruiker laagt. Lagen zorgen ervoor dat gebruikers alleen toegang hebben tot de gegevens die ze nodig hebben voor hun rol.
Volgende stappen
Voor meer informatie over de onderwerpen die in dit artikel zijn geïntroduceerd:
- Zie het patroon Gelaagde gegevens, dat wordt gebruikt door het patroon voor de detectie van voetgangen.
- Zie de Custom Vision AI Dev Kit voor meer informatie over het gebruik van Custom Vision.
Wanneer u klaar bent om het voorbeeld van de oplossing te testen, gaat u verder met de implementatiehandleiding voor De detectie van Footfall. De implementatiehandleiding bevat stapsgewijze instructies voor het implementeren en testen van de onderdelen.