Erfassung und Verarbeitung von IoT-Daten für die Automobilindustrie in EchtzeitIngestion and processing of real-time automotive IoT data

In diesem Beispielszenario wird eine Pipeline für die Echtzeiterfassung und Verarbeitung von Daten erstellt, um Nachrichten von IoT-Geräten (Sensoren) auf einer Big Data-Analyseplattform in Azure zu erfassen und zu verarbeiten.This example scenario builds a real-time data ingestion and processing pipeline to ingest and process messages from IoT devices (in general sensors) into a big data analytic platform in Azure. Erfassungs- und Verarbeitungsplattformen für Fahrzeugtelematik werden für die Erstellung vernetzter Fahrzeuglösungen benötigt.Vehicle telematics ingestion and processing platforms are the key to create connected car solutions. Dieses spezielle Szenario basiert auf den Erfassungs- und Verarbeitungssystemen für Fahrzeugtelematik.This specific scenario is motivated by the car telematics ingestion and processing systems. Die Entwurfsmuster sind jedoch für zahlreiche Branchen relevant, in denen Sensoren zum Einsatz kommen, um komplexe Systeme zu verwalten und zu überwachen. Beispiele hierfür wären etwa intelligente Gebäude, Kommunikation, Fertigung, Einzelhandel und Gesundheitswesen.However, the design patterns are relevant for many industries using sensors to manage and monitor complex systems in industries such as smart buildings, communications, manufacturing, retail, and healthcare.

Dieses Beispiel zeigt eine Pipeline zur Erfassung und Verarbeitung von Echtzeitdaten für Nachrichten, die von in Fahrzeugen installierten IoT-Geräten gesendet werden.This example demonstrates a real-time data ingestion and processing pipeline for messages from IoT devices installed in vehicles. Von den IoT-Geräten und Sensoren werden unzählige Nachrichten (oder Ereignisse) generiert.Thousands and millions of messages (or events) are generated by the IoT devices and sensors. Durch die Erfassung und Analyse dieser Nachrichten können wir wertvolle Einblicke gewinnen und geeignete Maßnahmen ergreifen.By capturing and analyzing these messages, we can decipher valuable insights and take appropriate actions. Wenn wir also beispielsweise bei Autos, die mit Telematikgeräten ausgestattet sind, IoT-Gerätenachrichten in Echtzeit erfassen, können wir den aktuellen Standort von Fahrzeugen überwachen, optimierte Routen planen, Fahrern Hilfestellung geben und telematikbezogene Branchen (beispielsweise Autoversicherungen) unterstützen.For example, with cars equipped telematics devices, if we can capture the device (IoT) messages in real time, we would be able to monitor the live location of vehicles, plan optimized routes, provide assistance to drivers, and support telematics-related industries such as auto insurance.

In dieser Demo verwenden wir als Beispiel einen Automobilhersteller, der ein Echtzeitsystem zur Erfassung und Verarbeitung der Nachrichten von Telematikgeräten aufbauen möchte.For this example demonstration, imagine a car manufacturing company that wants to create a real-time system to ingest and process messages from telematics devices. Das Unternehmen hat folgende Ziele:The company's goals include:

  • Erfassen und Speichern der Daten von Fahrzeugsensoren und -geräten in Echtzeit.Ingest and store data in real time from vehicles sensors and devices.
  • Analysieren der Nachrichten, um den Standort des Fahrzeugs zu ermitteln und andere Informationen zu verstehen, die von verschiedenen Arten von Sensoren (beispielsweise Motor- oder Umgebungssensoren) ausgegeben werden.Analyze the messages to understand vehicle location, and other information emitted through different types of sensors (such as engine-related sensors and environment-related sensors).
  • Speichern der Daten nach der Analyse zur weiteren Downstreamverarbeitung, um verwertbare Erkenntnisse zu gewinnen. (So kann sich beispielsweise eine Versicherung bei einem Unfall über den Unfallhergang informieren.)Store the data after analysis for other downstream processing to provide actionable insights (For example, in accident scenarios, insurance agencies may be interested to know what happened during an accident etc.)

Relevante AnwendungsfälleRelevant use cases

Zu den weiteren relevanten Anwendungsfällen zählen:Other relevant use cases include:

  • Erinnerungen und Warnungen im Zusammenhang mit der FahrzeugwartungVehicle maintenance reminders and alerting.
  • Standortbasierte Dienste für Fahrzeuginsassen (Notruf)Location-based services for the vehicle passengers (that is, SOS).
  • Autonome (selbstfahrende) FahrzeugeAutonomous (self-driving) vehicles.

AufbauArchitecture

Überblick über die Architektur der Komponenten dieses Szenarios

In dieser Big Data-Echtzeitverarbeitungspipeline durchlaufen die Daten die Lösung wie folgt:In this real-time big data processing pipeline, the data flows through the solution as follows:

  1. Von den IoT-Datenquellen generierte Ereignisse werden über Azure IoT Hub als Nachrichtendatenstrom an die Datenstromerfassungsebene gesendet.Events generated from the IoT data sources are sent to the stream ingestion layer through Azure IoT Hub as a stream of messages. Azure IoT Hub speichert Datenströme für einen konfigurierbaren Zeitraum in Partitionen.Azure IoT Hub stores streams of data in partitions for a configurable amount of time.
  2. Azure Databricks ruft die Nachricht in Echtzeit aus IoT Hub ab, verarbeitet die Daten gemäß der Geschäftslogik und sendet sie anschließend zur Speicherung an die Bereitstellungsebene.Azure Databricks picks up the message in real time from IoT Hub, processes the data based on the business logic and sends the data to Serving layer for storage.
  3. Downstreamspeicherdienste wie Azure Cosmos DB, Azure SQL Data Warehouse und Azure SQL-Datenbank speichern die IoT-Daten und alle zusätzlichen Daten und fungieren dann als Datenquelle für die Präsentations- und Aktionsebene.Downstream storage services, like Azure Cosmos DB, Azure SQL Data warehouse, or Azure SQL DB, will store the IoT data, plus any transactional data, and be a data source for presentation and action layer.
  4. Business Analysts können Microsoft Power BI verwenden, um in einem Data Warehouse gespeicherte Daten zu analysieren.Business analysts can use Microsoft Power BI to analyze warehoused data.
  5. Auf der Grundlage der Bereitstellungsebene können außerdem Web- und Mobilanwendungen sowie andere Anwendungen erstellt werden.Web, mobile and other applications can be built on the serving layer as well. So können wir beispielsweise auf der Grundlage der Dienstebenendaten APIs für die Verwendung durch Dritte verfügbar machen.For example, we can expose APIs based on the serving layer data for third-party uses.

KomponentenComponents

Von IoT-Geräten generierte Ereignisse (Daten oder Nachrichten) werden erfasst, verarbeitet und anschließend für weitere Analysen, Präsentationen und Aktionen mithilfe folgender Azure-Komponenten gespeichert:IoT device-generated events (data or messages) are ingested, processed, and then stored for further analysis, presentation, and action, using the following Azure components:

  • Azure IoT Hub befindet sich in der Erfassungsebene.Azure IoT Hub is in the ingestion layer. IoT Hub unterstützt außerdem die bidirektionale Kommunikation mit Geräten, sodass Aktionen von der Cloud oder von Azure IoT Edge an das Gerät gesendet werden können.IoT Hub also support bi-directional communication back to devices, allowing Actions to be sent from the cloud or Azure IoT Edge to the device.
  • Azure Databricks befindet sich auf der Transformations- und Analyseebene.Azure Databricks is located in the transformation and analytics layer. Databricks verwendet die Maven-Bibliothek „azure-eventhubs-spark_2.11:2.3.6“, um eine Verbindung mit dem Event Hub-kompatiblen Endpunkt von IoT Hub herzustellen.Databricks uses the azure-eventhubs-spark_2.11:2.3.6 Maven library to connect to IoT Hub's Event Hub compatible endpoint.
  • Azure Cosmos DB, Azure SQL-Datenbank und Azure Synapse Analytics befinden sich auf der Bereitstellungsspeicherebene. Hier kann Azure Databricks die Daten über Datenconnectors schreiben.Azure Cosmos DB, Azure SQL Database, and Azure Synapse Analytics are in the Serving storage layer, where Azure Databricks can write the data via data connectors.
  • Azure Synapse ist ein verteiltes System zum Speichern und Analysieren umfangreicher Datasets.Azure Synapse is a distributed system for storing and analyzing large datasets. Dank MPP (Massive Parallel Processing) eignet sich diese Komponente für Hochleistungsanalysen.Its use of massive parallel processing (MPP) makes it suitable for running high-performance analytics.
  • Power BI ist eine Suite aus Business Analytics-Tools zum Analysieren von Daten und Teilen von Einblicken.Power BI is a suite of business analytics tools to analyze data and share insights. Power BI kann ein in Analysis Services gespeichertes Semantikmodell oder direkt Azure Synapse abfragen.Power BI can query a semantic model stored in Analysis Services, or it can query Azure Synapse directly.
  • Azure Active Directory (Azure AD) authentifiziert Benutzer bei der Verbindungsherstellung mit Azure Databricks.Azure Active Directory (Azure AD) authenticates users, when connecting to Azure Databricks. Wenn wir in Analysis Services auf der Grundlage des Modells, das wiederum auf Azure Synapse-Daten basiert, einen Cube erstellen möchten, können wir Azure AD verwenden, um über Power BI eine Verbindung mit dem Analysis Services-Server herzustellen.If we would build a cube in Analysis Services based on the model based on Azure Synapse data, we could use Azure AD to connect to the Analysis Services server through Power BI. Auch Data Factory kann Azure AD für die Authentifizierung bei Azure Synapse nutzen – entweder über einen Dienstprinzipal oder über eine verwaltete Dienstidentität (Managed Service Identity, MSI).Data Factory can also use Azure AD to authenticate to Azure Synapse via a service principal or Managed Service Identity (MSI).
  • Azure App Service kann zum Erstellen von Web- und Mobilanwendungen verwendet werden.Azure App Services can be used to build web and mobile applications. Azure API App kann verwendet werden, um Daten auf der Grundlage der auf der Bereitstellungsebene gespeicherten Daten für Dritte verfügbar zu machen.Azure API App can be used to expose data to third parties, based on the data stored in the Serving Layer.

AlternativenAlternatives

Architekturkomponenten, die unten für alternative Technologien beschrieben werden

Eine allgemeinere Big Data-Pipeline kann mit anderen Azure-Komponenten implementiert werden.A more generalized big data pipeline could be implemented using other Azure components.

ÜberlegungenConsiderations

Die Technologien dieser Architektur wurden basierend auf dem erforderlichen Umfang für die Ereignisverarbeitung, der SLA der Dienste, der Kostenverwaltung und der Benutzerfreundlichkeit bei der Verwaltung der Komponenten ausgewählt.The technologies in this architecture were chosen based on the scale needed to process events, the SLA of the services, the cost management and ease of management of the components.

  • Azure IoT Hub verfügt über eine SLA von 99,9 Prozent sowie über integrierte Funktionen für die Notfallwiederherstellung.Azure IoT Hub comes with a 99.9% SLA and has integrated disaster recovery capabilities.
  • Azure Databricks ist von Grund auf für hohe Leistung und Kosteneffizienz in der Cloud optimiert.Azure Databricks is optimized from the ground up for performance and cost-efficiency in the cloud. Databricks Runtime fügt mehrere wichtige Funktionen für Apache Spark-Workloads hinzu, die bei der Ausführung in Azure die Leistung um das Zehn- bis Hundertfache erhöhen und die Kosten entsprechend senken können:The Databricks Runtime adds several key capabilities to Apache Spark workloads that can increase performance and reduce costs by as much as 10-100x when running on Azure, including:
  • Azure Databricks ist tief in Azure-Datenbanken und -Speicher integriert: Azure Synapse, Azure Cosmos DB, Azure Data Lake Storage und Azure Blob Storage.Azure Databricks integrates deeply with Azure databases and stores: Azure Synapse, Azure Cosmos DB, Azure Data Lake Storage, and Azure Blob Storage
    • Automatische Skalierung und Beendigung für Spark-Cluster, um automatisch die Kosten zu minimieren.Autoscaling and autotermination for Spark clusters to automatically minimize costs.
    • Leistungsoptimierungen (einschließlich Zwischenspeicherung, Indizierung und erweiterter Abfrageoptimierung), die die Leistung im Vergleich zu herkömmlichen Apache Spark-Bereitstellungen in cloudbasierten und lokalen Umgebungen um das Zehn- bis Hundertfache erhöhen können.Performance optimizations including caching, indexing, and advanced query optimization, which can improve performance by as much as 10-100x over traditional Apache Spark deployments in cloud or on-premises environments.
    • Dank Azure Active Directory-Integration können Sie vollständige Azure-basierte Lösungen mit Azure Databricks ausführen.Integration with Azure Active Directory enables you to run complete Azure-based solutions using Azure Databricks.
    • Die rollenbasierte Zugriffssteuerung von Azure Databricks ermöglicht die Verwendung präziser Benutzerberechtigungen für Notebooks, Cluster, Aufträge und Daten.Role-based access in Azure Databricks enables fine-grained user permissions for notebooks, clusters, jobs, and data.
    • Bietet SLAs auf Unternehmensniveau.Comes with Enterprise-grade SLAs.
  • Azure Cosmos DB ist eine global verteilte Datenbank von Microsoft mit mehreren Modellen.Azure Cosmos DB is Microsoft's globally distributed, multi-model database. Azure Cosmos DB wurde von Grund auf für globale Verteilung und horizontale Skalierbarkeit konzipiert.Azure Cosmos DB was built from the ground up with global distribution and horizontal scale at its core. Der Dienst bietet eine sofort einsatzbereite globale Verteilung über beliebig viele Azure-Regionen hinweg, indem er Ihre Daten transparent skaliert und dort repliziert, wo Ihre Benutzer sie benötigen.It offers turnkey global distribution across any number of Azure regions by transparently scaling and replicating your data wherever your users are. Sie können Durchsatz und Speicherplatz elastisch weltweit skalieren und bezahlen nur für den Durchsatz und Speicherplatz, den Sie benötigen.You can elastically scale throughput and storage worldwide, and pay only for the throughput and storage you need.
  • Die MPP-Architektur (Massively Parallel Processing) von Azure Synapse zeichnet sich durch Skalierbarkeit und hohe Leistung aus.The massively parallel processing architecture of Azure Synapse provides scalability and high performance.
  • Azure Synapse verfügt über SLA-Garantien und empfohlene Vorgehensweisen zur Erreichung von Hochverfügbarkeit.Azure Synapse has guaranteed SLAs and recommended practices for achieving high availability.
  • Bei geringer Analyseaktivität kann das Unternehmen Azure Synapse nach Bedarf skalieren und die Computeressourcen verringern oder sogar anhalten, um Kosten zu sparen.When analysis activity is low, the company can scale Azure Synapse on demand, reducing or even pausing compute to lower costs.
  • Das Sicherheitsmodell von Azure Synapse bietet Verbindungssicherheit, Authentifizierung und Autorisierung mittels Azure AD- oder SQL Server-Authentifizierung sowie Verschlüsselung.The Azure Synapse security model provides connection security, authentication, and authorization via Azure AD or SQL Server authentication, and encryption.

PreisePricing

Informationen zu Preisen erhalten Sie über den Azure-Preisrechner unter Azure Databricks – Preise, Azure IoT Hub – Preise und im Preisbeispiel für ein Data Warehouse-Szenario.Review Azure Databricks pricing, Azure IoT Hub pricing, pricing sample for a data warehousing scenario via the Azure pricing calculator. Passen Sie die Werte an, um zu ermitteln, wie sich Ihre Anforderungen auf die Kosten auswirken.Adjust the values to see how your requirements affect your costs.

  • Azure IoT Hub ist ein vollständig verwalteter Clouddienst, mit dem Sie einfach, schnell und kosteneffizient große IoT-Datenmengen erfassen können.Azure IoT Hub is a fully managed cloud service that makes it easy, fast, and cost-effective to ingest massive amounts of IoT data
  • Azure Databricks bietet zwei verschiedene Workloads auf mehreren VM-Instanzen, die genau auf Ihren Datenanalyseworkflow zugeschnitten sind: Mit der Workload „Datentechnik“ können Data Engineers ganz einfach Aufträge erstellen und ausführen, und mit der Workload „Datenanalyse“ können Data Scientists problemlos Daten und Erkenntnisse interaktiv erkunden, visualisieren, ändern und gemeinsam nutzen.Azure Databricks offers two distinct workloads on several VM Instances tailored for your data analytics workflow — the Data Engineering workload makes it easy for data engineers to build and execute jobs, and the Data Analytics workload makes it easy for data scientists to explore, visualize, manipulate, and share data and insights interactively.
  • Azure Cosmos DB garantiert Wartezeiten im einstelligen Millisekundenbereich im 99. Perzentil an jedem Ort der Welt, bietet mehrere gut definierte Konsistenzmodelle zur Optimierung der Leistung und garantiert Hochverfügbarkeit mit Multihostingfunktionen – jeweils untermauert durch branchenführende, umfassende Vereinbarungen zum Servicelevel (Service Level Agreements, SLAs).Azure Cosmos DB guarantees single-digit-millisecond latencies at the 99th percentile anywhere in the world, offers multiple well-defined consistency models to fine-tune performance, and guarantees high availability with multi-homing capabilities — all backed by industry leading comprehensive service level agreements (SLAs).
  • Mit Azure Synapse können Sie Ihre Compute- und Ihre Speicherebene unabhängig voneinander skalieren.Azure Synapse allows you to scale your compute and storage levels independently. Computeressourcen werden auf Stundenbasis abgerechnet und können nach Bedarf skaliert oder angehalten werden.Compute resources are charged per hour, and you can scale or pause these resources on demand. Speicherressourcen werden nach Terabyte abgerechnet. Ihre Kosten steigen also, wenn Sie mehr Daten erfassen.Storage resources are billed per terabyte, so your costs will increase as you ingest more data.
  • Analysis Services ist in den Tarifen „Developer“, „Basic“ und „Standard“ erhältlich.Analysis Services is available in developer, basic, and standard tiers. Die Preise der Instanzen basieren auf QPUs (Query Processing Units) und auf dem verfügbaren Arbeitsspeicher.Instances are priced based on query processing units (QPUs) and available memory. Minimieren Sie die Anzahl ausgeführter Abfragen, den Umfang der durch die Abfragen verarbeiteten Daten sowie die Ausführungshäufigkeit dieser Abfragen, um die Kosten gering zu halten.To keep your costs lower, minimize the number of queries you run, how much data they process, and how often they run.
  • Power BI bietet verschiedene Produktoptionen für unterschiedliche Anforderungen.Power BI has different product options for different requirements. Power BI Embedded bietet eine Azure-basierte Option zum Einbetten von Power BI-Funktionen in Ihre Anwendungen.Power BI Embedded provides an Azure-based option for embedding Power BI functionality inside your applications. Eine Power BI Embedded-Instanz ist im obigen Preisbeispiel enthalten.A Power BI Embedded instance is included in the pricing sample above.

Nächste SchritteNext steps

  • Erfahren Sie mehr über die Azure IoT-Referenzarchitektur, die eine empfohlene Architektur für IoT-Anwendungen in Azure mit PaaS-Komponenten (Plattform-as-a-Service) zeigt.Review the Azure IoT reference architecture that shows a recommended architecture for IoT applications on Azure using PaaS (platform-as-a-service) components.
  • Sehen Sie sich die Referenzarchitektur unter Echtzeitanalysen an. Sie enthält einen Big Data-Pipelinefluss.Review the Real-time analytics reference architecture that includes big data pipeline flow.
  • Sehen Sie sich die Referenzarchitektur unter Erweiterte Big Data-Analysen an, um einen Eindruck zu bekommen, wie verschiedene Azure-Komponenten bei der Erstellung einer Big Data-Pipeline hilfreich sein können.Review the Advanced analytics on big data reference architecture to get a peek on how different Azure components can help build a big data pipeline.