Pipelinetillägg

Med Azure Video Analyzer kan du utöka pipelinebearbetningsfunktionerna via en pipelinetilläggsnod. Plugin-programmet för analystillägg kan använda traditionella tekniker för bildbearbetning eller AI-modeller för datorseende. Pipelinetillägg aktiveras genom att en tilläggsprocessornod inkluderas i pipelineflödet. Tilläggsprocessornoden vidarebefordrar bildrutor till den konfigurerade slutpunkten och fungerar som gränssnitt för ditt tillägg. Anslutningen kan göras till en lokal slutpunkt eller en fjärrslutpunkt och kan skyddas med autentisering och TLS-kryptering om det behövs. Dessutom tillåter pipelinetilläggsprocessornoden valfri skalning och kodning av bildrutorna innan de skickas till ditt anpassade tillägg.

Video Analyzer stöder följande processorer för pipelinetillägg:

Pipelinetilläggsnoden förväntar sig att plugin-programmet för analystillägget returnerar resultatet i JSON-format. Vi rekommenderar att resultaten följer objektmodellen för inferensmetadataschemat.

Anteckning

Funktionen är för närvarande endast tillgänglig för edge-modulen, & inte för molnpipelines.

PROCESSOR för HTTP-tillägg

HTTP-tilläggsprocessorn möjliggör utökningsscenarier med HTTP-protokollet, där prestanda och/eller optimal resursanvändning inte är det primära problemet. Du kan exponera din egen AI för en pipeline via en HTTP REST-slutpunkt.

Använd http-tilläggets processornod när:

  • Du vill ha bättre samverkan med befintliga HTTP-inferenssystem.
  • Dataöverföring med låg prestanda är acceptabelt.
  • Du vill använda ett enkelt gränssnitt för begäran-svar till Video Analyzer.

gRPC-tilläggsprocessor

gRPC-tilläggsprocessorn möjliggör utökningsscenarier med gRPC-baserat strukturerat protokoll med höga prestanda. Den är perfekt för scenarier där prestanda och/eller optimal resursanvändning prioriteras. Med gRPC-tilläggsprocessorn kan du dra full nytta av de strukturerade datadefinitionerna. gRPC erbjuder höga innehållsöverföringsprestanda med hjälp av:

GRPC-tilläggsprocessorn kan användas för att skicka egenskaper tillsammans med utbyte av inferensmeddelanden. Använd därför en gRPC-tilläggsprocessornod när du:

  • Vill använda ett strukturerat kontrakt (till exempel strukturerade meddelanden för begäranden och svar)
  • Vill använda Protokollbuffertar (protobuf) som underliggande meddelandeutbytesformat för kommunikation.
  • Vill kommunicera med en gRPC-server i en enda strömsession i stället för den traditionella modellen för begäran/svar som behöver en anpassad begärandehanterare för att parsa inkommande begäranden och anropa rätt implementeringsfunktioner.
  • Vill ha låg latens och kommunikation med högt dataflöde mellan Video Analyzer och din modul.

Cognitive Services tilläggsprocessor

Cognitive Services-tilläggsprocessorn (Microsoft har byggt stöd för AI) är en specialbyggd tilläggsprocessor som gör att Video Analyzer fungerar bra med funktionerna för Visuellt innehåll Spatial Analysis med hjälp av & gRPC-baserat strukturerat & protokoll med höga prestanda.

Använd Cognitive Services tilläggsprocessornod när:

  • Du vill ha bättre samverkan med befintliga åtgärder för rumslig analys.
  • Vill använda alla fördelar med gRPC-protokoll, noggrannhet och prestanda för Microsofts skapade och stödda AI.
  • Analysera flera kameraflöden med låg latens och högt dataflöde.

Använda din inferensmodell

Med pipelinetillägg kan du köra valfria härledningsmodeller på valfri tillgänglig inferenskörning, till exempel ONNX, TensorFlow, PyTorch eller andra i din egen Docker-container. Det anpassade inferenstillägget ska distribueras tillsammans med Video Analyzer Edge-modulen för bästa prestanda och anropas sedan via HTTP-tilläggsprocessorn, gRPC-tilläggsprocessorn eller den Cognitive Services-tilläggsprocessor som ingår i pipelinetopologin. Dessutom kan frekvensen för anrop till ditt anpassade tillägg begränsas genom att eventuellt lägga till en rörelsedetektorprocessor uppströms till pipelinetilläggsprocessorn.

Diagrammet nedan visar dataflödet på hög nivå:

Inferencing model

Exempel

Du kan komma igång med någon av våra snabbstarter som illustrerar Video Analyzer med färdig tilläggstjänst med låga bildfrekvenser med HTTP-tilläggsprocessorn eller med höga bildfrekvenser med gRPC-tilläggsprocessorn.

Nästa steg

Koncept: Videoinspelning