Analiza w czasie rzeczywistym w ramach architektury danych big data

Analysis Services
Event Hubs
Synapse Analytics

Pomysł na rozwiązanie

Jeśli chcesz, abyśmy rozszerzyli ten artykuł o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, GitHub opinie!

Łatwe uzyskiwanie szczegółowych informacji z danych transmisji strumieniowej na żywo. Stale przechwytuj dane z dowolnego urządzenia IoT lub dzienników z strumienia kliknij witryny internetowej i przetwarzaj je niemal w czasie rzeczywistym.

Architektura

Diagram analizy w czasie rzeczywistym architektury danych big data przy użyciu usługi Azure Synapse Analytics z usługami Azure Data Lake Storage Gen2, Event Hub, Azure Analysis Services, Azure Cosmos DB i Power BI.

Pobierz format SVG tej architektury.

Przepływ danych

  1. Łatwo pozysuj dane transmisji strumieniowej na żywo dla aplikacji przy użyciu Azure Event Hubs.
  2. Zsumuj wszystkie dane ustrukturyzowane przy użyciu usługi Synapse Pipelines z usługą Azure Blob Storage.
  3. Skorzystaj z zalet Apache Spark do czyszczenia, przekształcania i analizowania danych przesyłanych strumieniowo oraz łączenia ich z danymi strukturalnymi z operacyjnych baz danych lub magazynów danych.
  4. Użyj skalowalnych technik uczenia maszynowego/uczenia głębokiego, aby uzyskać bardziej szczegółowe informacje na podstawie tych danych przy użyciu języka Python, scala lub .NET ze środowiskami notesu w Apache Spark pulach.
  5. Zastosuj Apache Spark i usługę Synapse Pipelines w Azure Synapse Analytics, aby uzyskać dostęp do danych i przenieść je na dużą skalę.
  6. Twórz pulpity nawigacyjne analizy i osadzone raporty w dedykowanej puli SQL, aby udostępniać szczegółowe informacje w organizacji i używać Azure Analysis Services do udostępniania tych danych tysiącom użytkowników.
  7. Skorzystaj ze szczegółowych informacji z Apache Spark do Cosmos DB, aby były dostępne za pośrednictwem aplikacji w czasie rzeczywistym.

Składniki

  • Azure Synapse Analytics to szybki, elastyczny i zaufany magazyn danych w chmurze, który umożliwia elastyczne i niezależne skalowanie, przetwarzanie oraz przechowywanie w sposób elastyczny i niezależny dzięki architekturze masowego przetwarzania równoległego.
  • Dokumentacja usługi Synapse Pipelines umożliwia tworzenie, planowanie i organizowanie przepływów pracy ETL/ELT.
  • Azure Data Lake Storage:wysoce skalowalne, bezpieczne data lake wbudowane w usługę Azure Blob Storage
  • Azure Synapse Analytics Spark to szybka, łatwa i oparta na współpracy Apache Spark platformy analitycznej.
  • Azure Azure Event Hubs Documentation to platforma przesyłania strumieniowego danych big data i usługa pozyskiwania zdarzeń.
  • Azure Cosmos DB to globalnie dystrybuowana, wielo modelowa usługa bazy danych. Następnie dowiedz się, jak replikować dane w dowolnej liczbie regionów platformy Azure i skalować przepływność niezależnie od magazynu.
  • Usługa Azure Synapse Link dla usługi Azure Cosmos DB umożliwia uruchamianie analizy niemal w czasie rzeczywistym danych operacyjnych w usłudze Azure Cosmos DB bez żadnego wpływu na wydajność lub koszty obciążenia transakcyjnego przy użyciu dwóch aparatów analitycznych dostępnych w obszarze roboczym usługi Azure Synapse: pule bez serwera SQL i pule platformy Spark.
  • Azure Analysis Services to analiza klasy korporacyjnej jako usługa, która umożliwia zarządzanie, wdrażanie, testowanie i dostarczanie rozwiązania analizy biznesowej z pewnością.
  • Power BI to zestaw narzędzi do analizy biznesowej, które zapewniają szczegółowe informacje w całej organizacji. Połączenie do setek źródeł danych, uprościć wstępne dane i prowadzić nieplanowaną analizę. Twórz piękne raporty, a następnie publikuj je dla swojej organizacji, aby korzystać z nich w Internecie i na urządzeniach przenośnych.

Alternatywy

  • Synapse Link to preferowane przez firmę Microsoft rozwiązanie do analizy na podstawie Cosmos DB.

Cennik

Następne kroki