Echtzeitanalysen in Big Data-Architekturen

Analysis Services
Data Factory
Databricks
HDInsight
Synapse Analytics

Lösungsidee Solution Idea

Wenn Sie möchten, dass wir diesen Artikel durch weitere Informationen, Implementierungsdetails, Preisinformationen oder Codebeispiele ergänzen, kontaktieren Sie uns über GitHub-Feedback.If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

Verschaffen Sie sich problemlos Einblicke aus Livestreamingdaten.Get insights from live streaming data with ease. Erfassen Sie kontinuierlich Daten von jedem IoT-Gerät oder Protokolle des Websiteclickstreams, und verarbeiten Sie sie nahezu in Echtzeit.Capture data continuously from any IoT device, or logs from website clickstreams, and process it in near-real time.

AufbauArchitecture

Architekturdiagramm Laden Sie eine SVG-Datei für diese Architektur herunter.Architecture Diagram Download an SVG of this architecture.

DatenflussData Flow

  1. Erfassen Sie problemlos Livestreamingdaten für eine Anwendung mit dem Apache Kafka-Cluster in Azure HDInsight.Easily ingest live streaming data for an application using Apache Kafka cluster in Azure HDInsight.
  2. Kombinieren Sie alle Ihre strukturierten Daten mithilfe von Azure Data Factory in Azure Blob Storage.Bring together all your structured data using Azure Data Factory to Azure Blob Storage.
  3. Nutzen Sie Azure Databricks, um die Streamingdaten zu bereinigen, transformieren und analysieren, und kombinieren Sie sie mit strukturierten Daten aus operativen Datenbanken oder Data Warehouses.Take advantage of Azure Databricks to clean, transform, and analyze the streaming data, and combine it with structured data from operational databases or data warehouses.
  4. Verwenden Sie mit Notebook-Funktionen, die in Azure Databricks integriert sind, skalierbare Machine Learning- und Deep Learning-Techniken, um mithilfe von Python, R oder Scala tiefere Einblicke in diese Daten zu erhalten.Use scalable machine learning/deep learning techniques, to derive deeper insights from this data using Python, R or Scala, with inbuilt notebook experiences in Azure Databricks.
  5. Nutzen Sie native Connectors zwischen Azure Databricks und Azure Synapse Analytics, um auf skalierbare Daten zuzugreifen und diese zu verschieben.Leverage native connectors between Azure Databricks and Azure Synapse Analytics to access and move data at scale.
  6. Erstellen Sie analytische Dashboards und eingebettete Berichte auf der Basis von Azure Data Warehouse, um Einblicke in Ihrer Organisation zu teilen, und stellen Sie diese Daten Tausenden von Benutzern mit Azure Analysis Services zur Verfügung.Build analytical dashboards and embedded reports on top of Azure Data Warehouse to share insights within your organization and use Azure Analysis Services to serve this data to thousands of users.
  7. Poweruser nutzen die integrierten Funktionen von Azure Databricks und Azure HDInsight, um die Grundursachenermittlung und Rohdatenanalyse durchzuführen.Power users take advantage of the inbuilt capabilities of Azure Databricks and Azure HDInsight to perform root cause determination and raw data analysis.
  8. Machen Sie die Einblicke von Azure Databricks in Cosmos DB über Echtzeit-Apps zugänglich.Take the insights from Azure Databricks to Cosmos DB to make them accessible through real time apps.

KomponentenComponents

  • Azure Synapse Analytics ist das schnelle, flexible und vertrauenswürdige Cloud-Data Warehouse, mit dem Sie elastisch und unabhängig mit einer leistungsstarken Parallelverarbeitungsarchitektur Daten skalieren, berechnen und speichern können.Azure Synapse Analytics is the fast, flexible and trusted cloud data warehouse that lets you scale, compute and store elastically and independently, with a massively parallel processing architecture.
  • Azure Data Factory ist ein Dienst zur Integration von Hybriddaten, mit dem Sie Ihre ETL/ELT-Workflows erstellen, planen und orchestrieren können.Azure Data Factory is a hybrid data integration service that allows you to create, schedule and orchestrate your ETL/ELT workflows.
  • Azure Data Lake Storage: Hochgradig skalierbare, sichere Data Lake-Funktionalität auf Basis von Azure Blob StorageAzure Data Lake Storage: Massively scalable, secure data lake functionality built on Azure Blob Storage
  • Azure Databricks ist eine schnelle, einfache und zusammenarbeitsorientierte Analyseplattform auf Apache Spark-Basis.Azure Databricks is a fast, easy, and collaborative Apache Spark-based analytics platform.
  • Azure HDInsight ist ein vollständig verwalteter Open-Source-Analysedienst mit vollem Funktionsumfang für gängige Open-Source-Frameworks wie Hadoop, Spark, Hive, LLAP, Kafka, Storm, R und mehr.Azure HDInsight is a fully managed, full spectrum open-source analytics service for popular open-source frameworks such as Hadoop, Spark, Hive, LLAP, Kafka, Storm, R & more.
  • Azure Cosmos DB ist ein global verteilter Datenbankdienst mit Unterstützung mehrerer Modelle.Azure Cosmos DB is a globally distributed, multi-model database service. Anschließend wird beschrieben, wie Sie Ihre Daten in einer beliebigen Zahl von Azure-Regionen replizieren und Ihren Durchsatz unabhängig von Ihrem Speicher skalieren.Then learn how to replicate your data across any number of Azure regions and scale your throughput independent from your storage.
  • Azure Analysis Services ist ein Analysedienst auf Unternehmensniveau, mit dem Sie Ihre BI-Lösung zuverlässig steuern, testen und bereitstellen können.Azure Analysis Services is an enterprise grade analytics as a service that lets you govern, deploy, test, and deliver your BI solution with confidence.
  • Power BI ist eine Suite von Business Analytics-Tools, die für Ihre gesamte Organisation Erkenntnisse bereitstellen.Power BI is a suite of business analytics tools that deliver insights throughout your organization. Stellen Sie eine Verbindung mit Hunderten von Datenquellen her, vereinfachen Sie die Datenvorbereitung, und führen Sie Ad-hoc-Analysen durch.Connect to hundreds of data sources, simplify data prep, and drive ad hoc analysis. Erzeugen Sie hochwertige Berichte, und veröffentlichen Sie sie dann für Ihre Organisation zur Nutzung im Web und auf mobilen Geräten.Produce beautiful reports, then publish them for your organization to consume on the web and across mobile devices.

Nächste SchritteNext steps

PreisrechnerPricing Calculator