Azure Percept Vision Modul AI

  • Článek
  • 2 min ke čtení

Azuremodule je název hraničního modulu zodpovědného za spouštění úloh zpracování obrazu pomocí AI na Azure Percept DK. Je součástí sady modulů Azure IoT Edge a během instalace se nasazovat do Azure Percept DK prostředí. Tento článek obsahuje přehled modulu a jeho architektury.

Architektura

Diagram znázorňující architekturu modulu azuremodule

Úloha Azure Percept na straně Azure Percept DK je aplikace C++, která běží uvnitř kontejneru dockeru azuremodulemodule. Ke zpracování obrázků a spouštění modelů používá OpenCV GAPI. Azuremodule běží v operačním systému Nar v rámci sady modulů Azure IoT, které běží na Azure Percept DK.

Úloha Azure Percept je určena k zachytání obrázků a výstupních obrázků a zpráv. Výstupní obrázky mohou být označeny kresbami, jako jsou ohraničující rámečky, masky segmentace, popisky, popisky atd. Výstupní zprávy jsou datový proud JSON s výsledky odvození, které mohou být ingestovány a používány podřízené úkoly. Výsledky se předá jako datový proud RTSP, který je k dispozici na portu 8554 zařízení. Výsledky se také dopraví do jiného modulu spuštěného na zařízení, který slouží jako datový proud RTSP zabalený na serveru HTTP běžící na portu 3000. V každém případě budou k zobrazení k dispozici pouze v místní síti.

Upozornění

U informačních kanálů RTSP neexistuje šifrování ani ověřování. Kdokoli v místní síti může zobrazit přesně to, co Azure Percept Vision, zadáním správné adresy do webového prohlížeče nebo do přehrávače médií RTSP.

Úloha Azure Percept umožňuje několik funkcí, které mohou koncoví uživatelé využít:

  • Řešení bez kódu pro běžné případy použití počítačového zpracování obrazu, jako je klasifikace objektů a běžná detekce objektů.
  • Pokročilé řešení, ve kterém si vývojář může do zařízení přinést vlastní (potenciálně kaskádový) vytrénovaný model a spustit ho, případně předá výsledky jinému modulu IoT, ve kterém se na zařízení spustí vlastní vytvoření.
  • Smyčka opětovného trénování pro pravidelné uchopování obrázků ze zařízení, opětovné trénování modelu v cloudu a potom nasazování nově natrénovaných modelů zpět do zařízení. Použití schopnosti zařízení aktualizovat a proměňovat modely za běhu

Podrobnosti o úlohách AI

Aplikace Workload je open source v úložišti githubu Azure Percept Advanced Development a je tvořená mnoha malými moduly C++, z některých z nich je důležitější:

  • main.cpp:Nastaví všechno a pak spustí hlavní smyčku.
  • iot:Tato složka obsahuje moduly, které zpracování příchozích a odchozích zpráv z Azure IoT Edge Hubu, a metodu aktualizace dvojčete.
  • model: Tato složka obsahuje moduly pro hierarchii tříd modelů počítačového zpracování obrazu.
  • kernels: Tato složka obsahuje moduly pro jádra G-API, operační a obálkové funkce C++.

Vývojáři mohou vytvářet vlastní moduly nebo přizpůsobovat aktuální modul azuremodule pomocí této aplikace úloh.

Další kroky

  • Teď, když už víte více o modulu azuremodule a Azure Percept, zkuste použít vlastní model nebo kanál podle jednoho z těchto kurzů.
  • Nebo zkuste přenést učení pomocí jednoho z našich hotových poznámkových bloků strojového učení.