Upravit

Analýza dat pro testovací flotily automobilů

Azure Blob Storage
Azure Data Explorer
Azure Event Hubs
Azure Functions
Azure IoT Hub

Automobilové OEM potřebují řešení, která minimalizují dobu mezi prováděním testovacích jednotek a získáním diagnostických dat testovacích jednotek technikům V&D. S tím, jak se vozidla stávají automatizovanějšími, jsou životní cyklus softwaru kratší a smyčky digitální zpětné vazby musí být rychlejší. Nová technologie může demokratizovat přístup k datům a poskytovat technikům V&D téměř v reálném čase přehledy o diagnostických datech testovacích jednotek. Zabezpečené sdílení dat může zlepšit spolupráci mezi výrobci OEM a dodavateli a dále zkrátit vývojové cykly.

Tato ukázková úloha souvisí se scénáři příjmu dat telemetrie i dávkového testování. Úloha se zaměřuje na datová platforma, která zpracovává diagnostická data, a konektory pro vizualizaci a vytváření sestav.

Architektura

Diagram znázorňující tok analytických dat pro streamovaná data a soubory v automobilovém průmyslu

Stáhněte si powerpointový soubor se všemi diagramy v tomto článku.

Tok dat

  1. Azure IoT Hub ingestuje živá, nezpracovaná telemetrická data (A) a nahrává zaznamenané datové soubory (B) z vozidla.

  2. IoT Hub odesílá živou telemetrii (A) do aplikace Azure Functions, která dekóduje telemetrii do javascriptového objektového zápisu (JSON) a publikuje je do služby Azure Event Hubs.

    IoT Hub odesílá zaznamenané datové soubory (B) do služby Azure Blob Storage. Dokončené nahrávání souborů aktivuje aplikaci Functions, která dekóduje data a zapíše dekódovaný soubor do služby Blob Storage ve formátu hodnot oddělených čárkami (CSV), který je vhodný pro příjem dat.

  3. Azure Data Explorer ingestuje dekódovaná telemetrická data JSON ze služby Event Hubs (A) do nezpracované tabulky telemetrie a ingestuje dekódované soubory CSV (B) ze služby Blob Storage.

  4. Azure Data Explorer pomocí Update funkce rozšíří data JSON do vhodného formátu řádku a rozšíří data. Například data o umístění clusterů funkcí pro podporu geoprostorové analýzy.

  5. Datoví vědci a technici V&D používají funkce dotazovací jazyk Kusto (KQL) k vytváření případů použití analýz, které ukládají jako uživatelem definované funkce. Mezi funkce KQL patří agregace, analýza časových řad, geoprostorové clusteringy, okna a moduly plug-in strojového učení (ML).

  6. Power BI používá k vytváření vizualizací s uživatelsky definovanými dotazy dynamické dotazy. Modul plug-in zdroje dat Grafana pro Azure Data Explorer používá uživatelsky definované dotazy pro aktualizace téměř v reálném čase.

  7. Aplikace Aplikace Azure Service používá funkce vykreslování zdrojů dat Azure Mapy k vizualizaci výsledků dotazů definovaných uživatelem, které používají formát GeoJSON.

  8. Azure API Management poskytuje přístup k uloženým nezpracovaným datovým souborům z vozidel a konfiguračnímu rozhraní API, které spravuje zásady shromažďování dat třetích stran.

Schéma Azure Data Exploreru

Diagram znázorňující funkce a metody Azure Data Exploreru pro extrakci, rozšiřování a rozšiřování dat

  1. Funkce Update() používá například tyto metody:

    • mv-expand() rozšíření složitých hodnot uložených ve strukturách JSON do řádků s jednotlivými signály.
    • geo_point_to_h3cell() nebo geo_point_to_geohash() převést zeměpisnou šířku a délku na geohashes pro geoprostorovou analýzu.
    • todouble() a tostring() přetypování extrahovaných hodnot z dynamických objektů JSON do příslušných datových typů.

  2. Zobrazení Metadata flotily Poslední známé hodnoty spojuje další zobrazení v rámci příjmu dat a poskytuje kontext. Historická metadata flotily jsou užitečná v případě, že nové případy použití vyžadují opětovné zpracování nezpracované telemetrie.

  3. V případě potřeby se k odstranění duplicit signálů používá take_any() materializované zobrazení signály.

  4. Zobrazení Signal poslední známé hodnoty materializované pomocí arg_max() časového razítka pro generování sestav v reálném čase.

  5. Materializované zobrazení Signal Downsamped agreguje signály pomocí předdefinovaných intervalů, jako jsou hodinově a denně , aby se zjednodušily hlášení napříč flotilou.

  6. Uložené funkce modulu plug-in, jako jsou DetectAnomaly() vyhledání anomálií v datových řadách Moduly plug-in ML, jako je autocluster, najdou běžné vzory diskrétních atributů.

  7. Funkce GetGeospatial() generuje soubory GeoJSON, které obsahují seskupené signály geohashes.

Komponenty

Následující klíčové technologie implementují tuto úlohu:

Alternativy

Azure Batch je dobrou alternativou pro dekódování složitých souborů. Tento scénář zahrnuje velký počet souborů nad 300 megabajtů, které vyžadují různé algoritmy dekódování na základě verze nebo typu souboru.

Diagram znázorňující alternativní metodu Azure Batch pro dekódování složitých souborů

  1. Nahrání zaznamenaného datového souboru do služby Blob Storage aktivuje aplikaci Functions pro naplánování dekódování.
  2. Aplikace Functions vytvoří dávkovou úlohu s ohledem na typ souboru, velikost a požadovaný algoritmus dekódování. Aplikace vybere z fondu vhodný virtuální počítač a spustí úlohu.
  3. Po dokončení úlohy služba Batch zapíše výsledný dekódovaný soubor zpět do služby Blob Storage. Tento soubor musí být vhodný pro přímý příjem dat ve formátu, který Azure Data Explorer podporuje.
  4. Nahrání dekódovaného souboru signálu do služby Blob Storage aktivuje funkci, která ingestuje data do Azure Data Exploreru. Tato funkce v případě potřeby vytvoří mapování tabulek a dat a spustí proces příjmu dat.
  5. Azure Data Explorer přímo ingestuje datové soubory ze služby Blob Storage.

Tento přístup nabízí následující výhody:

  • Fondy Azure Functions a Batch umožňují efektivně a efektivně zpracovávat škálovatelné úlohy zpracování dat.
  • Fondy batch poskytují přehled o statistikách zpracování, frontách úkolů a stavu fondu batch. Můžete vizualizovat stav, rozpoznat problémy a znovu spustit neúspěšné úlohy.
  • Kombinace Azure Functions a Azure Batch podporuje zpracování modulů plug-and-play v kontejnerech Dockeru.

Podrobnosti scénáře

Automobilový výrobce OEM používá velké flotily prototypů a testovacích vozidel k testování a ověřování všech druhů funkcí vozidel. Testovací postupy jsou nákladné, protože je třeba zapojit skutečné řidiče a vozidla a některé konkrétní scénáře skutečného silničního testování musí projít vícekrát. Testování integrace je zvlášť důležité k vyhodnocení interakcí mezi elektrickými, elektronickými a mechanickými součástmi v komplexních systémech.

Aby bylo možné ověřovat funkce vozidel a analyzovat anomálie a selhání, musí být gigabajty diagnostických dat zachyceny z elektronických řídicích jednotek (ECU), počítačových uzlů, komunikačních autobusů vozidel, jako jsou controller Area Network (CAN) a Ethernet a senzory. V minulosti malé servery protokolovacího modulu dat ve vozidlech ukládaly diagnostická data místně jako hlavní databáze (MDF), rozšíření pro sloučení multimédií (MFX), SOUBORY CSV nebo JSON. Po dokončení testovacích jednotek servery nahrály diagnostická data do datových center, která je zpracovala a poskytla technikům R&D pro analýzu. Tento proces může trvat hodiny nebo někdy dny. Novější scénáře používají vzorce příjmu telemetrie, jako jsou přenosy telemetrických dat založených na službě Řízení front zpráv (MQTT), synchronní datové proudy nebo nahrávání souborů téměř v reálném čase.

Potenciální případy použití

  • Správa vozidel vyhodnocuje výkon a shromážděná data na vozidlo napříč několika testovacími scénáři.
  • Ověření systému a součástí používá shromážděná data o vozidlech k ověření, že chování součástí vozidel spadá do provozních hranic napříč cestami.
  • Detekce anomálií vyhledá odchylky hodnoty senzoru vzhledem k typickému směrnému vzoru v reálném čase.
  • Analýza původní příčiny používá moduly plug-in ML, jako jsou algoritmy clusteringu, k identifikaci změn v distribuci hodnot ve více dimenzích.
  • Prediktivní údržba kombinuje více zdrojů dat, rozšířená data o poloze a telemetrii, aby předpovídala dobu selhání komponent.
  • Hodnocení udržitelnosti využívá chování řidiče a spotřebu energie k vyhodnocení dopadu provozu vozidel na životní prostředí.

Důležité informace

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které můžete použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Spolehlivost

Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace najdete v tématu Přehled pilíře spolehlivosti.

  • Zóny dostupnosti Azure jsou jedinečná fyzická umístění ve stejné oblasti Azure. Zóny dostupnosti můžou chránit výpočetní clustery a data Azure Data Exploreru před selháním částečné oblasti.
  • Provozní kontinuita a zotavení po havárii (BCDR) v Azure Data Exploreru umožňuje vaší firmě pokračovat v provozu v případě přerušení.
  • Zvažte použití následných databází v Azure Data Exploreru k oddělení výpočetních prostředků mezi produkčními a neprodukčními případy použití.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v tématu Přehled pilíře zabezpečení.

Je důležité pochopit rozdělení odpovědnosti mezi automobilovými výrobci OEM a Microsoftem. Výrobce OEM ve vozidle vlastní celý zásobník, ale při přesunu dat do cloudu se některé zodpovědnosti přenesou do Microsoftu. Platforma jako služba Azure (PaaS) poskytuje integrované zabezpečení ve fyzickém zásobníku, včetně operačního systému. Nad komponentami zabezpečení infrastruktury můžete použít následující funkce.

Všechny tyto funkce pomáhají automobilovým výrobcům OEM vytvořit bezpečné prostředí pro data telemetrie vozidel. Další informace najdete v tématu Zabezpečení v Azure Data Exploreru.

Optimalizace nákladů

Optimalizace nákladů sleduje způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.

Toto řešení používá následující postupy k optimalizaci nákladů:

  • Správně nakonfigurujte horké mezipaměti a studené úložiště pro tabulky Raw a Signal. Mezipaměť horkých dat je uložená v paměti RAM nebo SSD a poskytuje lepší výkon. Studená data jsou však 45krát levnější. Nastavte zásadu horké mezipaměti, která je vhodná pro váš případ použití, například 30 dní.
  • Nastavte zásady uchovávání informací v tabulkách Raw a Signal. Určete, kdy už signálová data nejsou relevantní, například po 365 dnech, a nastavte zásady uchovávání informací odpovídajícím způsobem.
  • Zvažte, které signály jsou relevantní pro analýzu.
  • Použití materializovaných zobrazení při dotazování na signály poslední známé hodnoty, signály odstraněné a signály převzorkované. Materializovaná zobrazení spotřebovávají méně prostředků než agregace zdrojových tabulek u každého dotazu.
  • Zvažte potřeby analýzy dat v reálném čase. Nastavení příjmu dat streamování pro tabulku živé telemetrie umožňuje latenci menší než jednu sekundu mezi příjmem dat a dotazem, ale za vyšší cenu více cyklů procesoru.

Efektivita výkonu

Efektivita výkonu je schopnost vaší úlohy efektivně škálovat tak, aby splňovala požadavky uživatelů. Další informace najdete v tématu Přehled pilíře efektivity výkonu.

  • Pokud je počet a velikost zaznamenaných datových souborů větší než 1 000 souborů nebo 300 MB denně, zvažte použití služby Azure Batch k dekódování.
  • Zvažte provádění běžných výpočtů a analýz po ingestování a jejich uložení do dalších tabulek.

Nasazení tohoto scénáře

Pokud chcete nasadit Azure Data Explorer a ingestovat soubory MDF, můžete postupovat podle podrobného kurzu, který ukazuje, jak nasadit bezplatnou instanci, parsovat soubory MDF, ingestovat a provádět některé základní dotazy.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autoři:

Další přispěvatelé:

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky