Realtidsanalys i stordataarkitekturerReal Time Analytics on Big Data Architecture

Lösnings idé Solution Idea

Om du vill se oss expandera den här artikeln med mer information (implementerings information, prissättnings vägledning, kod exempel osv.) och meddela oss med GitHub feedback!If you'd like to see us expand this article with more information (implementation details, pricing guidance, code examples, etc), let us know with GitHub Feedback!

Få insikter från direkt strömmande data utan problem.Get insights from live streaming data with ease. Samla in data kontinuerligt från valfri IoT-enhet eller logga från webbplatsen klick Ströms data och bearbeta dem i nära real tid.Capture data continuously from any IoT device, or logs from website clickstreams, and process it in near-real time.

ArkitekturArchitecture

Arkitektur diagram Ladda ned en SVG -arkitektur.Architecture Diagram Download an SVG of this architecture.

DataflödeData Flow

  1. Du kan enkelt mata in live streaming-data för ett program med hjälp av Apache Kafka kluster i Azure HDInsight.Easily ingest live streaming data for an application using Apache Kafka cluster in Azure HDInsight.
  2. Samla alla strukturerade data med Azure Data Factory till Azure Blob Storage.Bring together all your structured data using Azure Data Factory to Azure Blob Storage.
  3. Dra nytta av Azure Databricks för att rensa, transformera och analysera strömmande data och kombinera dem med strukturerade data från drift databaser eller informations lager.Take advantage of Azure Databricks to clean, transform, and analyze the streaming data, and combine it with structured data from operational databases or data warehouses.
  4. Använd skalbara tekniker för maskin inlärning/djup inlärning för att få djupare insikter från dessa data med python, R eller Scala, med inbyggda Notebook-upplevelser i Azure Databricks.Use scalable machine learning/deep learning techniques, to derive deeper insights from this data using Python, R or Scala, with inbuilt notebook experiences in Azure Databricks.
  5. Använd inbyggda anslutningar mellan Azure Databricks och Azure Synapse Analytics för att komma åt och flytta data i stor skala.Leverage native connectors between Azure Databricks and Azure Synapse Analytics to access and move data at scale.
  6. Bygg analytiska instrument paneler och inbäddade rapporter ovanpå Azure Data Warehouse för att dela insikter i din organisation och använda Azure Analysis Services för att hantera dessa data till tusentals användare.Build analytical dashboards and embedded reports on top of Azure Data Warehouse to share insights within your organization and use Azure Analysis Services to serve this data to thousands of users.
  7. Privilegierade användare drar nytta av de inbyggda funktionerna i Azure Databricks och Azure HDInsight för att utföra rotor Saks bestämning och rå data analys.Power users take advantage of the inbuilt capabilities of Azure Databricks and Azure HDInsight to perform root cause determination and raw data analysis.
  8. Ta insikter från Azure Databricks till Cosmos DB för att göra dem tillgängliga via appar i real tid.Take the insights from Azure Databricks to Cosmos DB to make them accessible through real time apps.

KomponenterComponents

  • Azure Synapse Analytics är ett snabbt, flexibelt och betrott moln informations lager som gör att du kan skala, beräkna och lagra elastiskt och oberoende av varandra, med en mycket parallell bearbetnings arkitektur.Azure Synapse Analytics is the fast, flexible and trusted cloud data warehouse that lets you scale, compute and store elastically and independently, with a massively parallel processing architecture.
  • Azure Data Factory är en integrerings tjänst för Hybrid data som gör att du kan skapa, schemalägga och dirigera dina ETL/ELT-arbetsflöden.Azure Data Factory is a hybrid data integration service that allows you to create, schedule and orchestrate your ETL/ELT workflows.
  • Azure Data Lake Storage: massivt skalbara, säkra data Lake-funktioner som bygger på Azure Blob StorageAzure Data Lake Storage: Massively scalable, secure data lake functionality built on Azure Blob Storage
  • Azure Databricks är en snabb, enkel Apache Spark-baserad analys plattform.Azure Databricks is a fast, easy, and collaborative Apache Spark-based analytics platform.
  • Azure HDInsight är en fullständigt hanterad analys tjänst med öppen källkod för populära ramverk med öppen källkod, till exempel Hadoop, Spark, HIVE, LLAP, Kafka, Storm, R & mer.Azure HDInsight is a fully managed, full spectrum open-source analytics service for popular open-source frameworks such as Hadoop, Spark, Hive, LLAP, Kafka, Storm, R & more.
  • Azure Cosmos DB är en globalt distribuerad databas tjänst för flera modeller.Azure Cosmos DB is a globally distributed, multi-model database service. Lär dig sedan att replikera dina data i valfritt antal Azure-regioner och skala ditt data flöde oberoende av lagringen.Then learn how to replicate your data across any number of Azure regions and scale your throughput independent from your storage.
  • Azure Analysis Services är en analys i företags klass som en tjänst som gör att du kan styra, distribuera, testa och leverera din BI-lösning med förtroende.Azure Analysis Services is an enterprise grade analytics as a service that lets you govern, deploy, test, and deliver your BI solution with confidence.
  • Power BI är en uppsättning affärs analys verktyg som ger insikter i hela organisationen.Power BI is a suite of business analytics tools that deliver insights throughout your organization. Anslut till hundratals data källor, förenkla data prepare och kör ad hoc-analys.Connect to hundreds of data sources, simplify data prep, and drive ad hoc analysis. Skapa snygga rapporter och publicera dem sedan för din organisation att använda på webben och på mobila enheter.Produce beautiful reports, then publish them for your organization to consume on the web and across mobile devices.

Nästa stegNext steps

PriskalkylatorPricing Calculator