Edytuj

Analiza danych big data za pomocą usługi Azure Data Explorer

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Pomysły dotyczące rozwiązań

Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.

W tym rozwiązaniu przedstawiono analizę danych big data na dużych ilościach danych o dużej szybkości z różnych źródeł.

Platformy Apache® i Apache Kafka® są zastrzeżonymi znakami towarowymi lub znakami towarowymi platformy Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.

Architektura

Diagram przedstawiający analizę danych big data za pomocą usługi Azure Data Explorer.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

  1. Nieprzetworzone dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane (dowolny tekst), takie jak dzienniki dowolnego typu, zdarzenia biznesowe i działania użytkowników, mogą być pozyskiwane do usługi Azure Data Explorer z różnych źródeł.
  2. Pozyskiwanie danych do usługi Azure Data Explorer z małym opóźnieniem i wysoką przepływnością przy użyciu łączników Azure Data Factory,Azure Event Hubs, Azure IoT Hub, Kafka itd. Alternatywnie pozyskiwanie danych za pośrednictwem usługi Azure Storage (Blob lub ADLS Gen2), która używa Azure Event Grid i wyzwala potok pozyskiwania do usługi Azure Data Explorer. Możesz również stale eksportować dane do usługi Azure Storage w skompresowanym formacie parquet podzielonym na partycje i bezproblemowo wykonywać zapytania dotyczące tych danych zgodnie z opisem w temacie Ciągłe eksportowanie danych — omówienie.
  3. Eksportowanie wstępnie zagregowanych danych z usługi Azure Data Explorer do usługi Azure Storage, a następnie pozyskiwanie danych do usługi Synapse Analytics w celu tworzenia modeli danych i raportów.
  4. Korzystanie z natywnych funkcji usługi Azure Data Explorer do przetwarzania, agregowania i analizowania danych. Aby uzyskać szczegółowe informacje z szybkością błyskawic, twórz pulpity nawigacyjne analizy niemal w czasie rzeczywistym przy użyciu pulpitów nawigacyjnych usługi Azure Data Explorer, usługi Power BI, narzędzia Grafana lub innych narzędzi. Użyj usługi Azure Synapse Analytics, aby utworzyć nowoczesny magazyn danych i połączyć go z danymi usługi Azure Data Explorer w celu generowania raportów analizy biznesowej na podstawie wyselekcjonowanych i zagregowanych modeli danych.
  5. Usługa Azure Data Explorer zapewnia natywne zaawansowane funkcje analizy szeregów czasowych, rozpoznawania wzorców, wykrywania anomalii i prognozowania oraz uczenia maszynowego. Usługa Azure Data Explorer jest również dobrze zintegrowana z usługami ML, takimi jak Databricks i Azure Machine Learning. Ta integracja umożliwia tworzenie modeli przy użyciu innych narzędzi i usług oraz eksportowanie modeli uczenia maszynowego do usługi Azure Data Explorer na potrzeby oceniania danych.

Składniki

  • Azure Event Hubs: w pełni zarządzana usługa pozyskiwania danych w czasie rzeczywistym, która jest prosta, zaufana i skalowalna.
  • Azure IoT Hub: Usługa zarządzana umożliwia dwukierunkową komunikację między urządzeniami IoT a platformą Azure.
  • Platforma Kafka w usłudze HDInsight: łatwa, ekonomiczna usługa klasy korporacyjnej do analizy open source za pomocą platformy Apache Kafka.
  • Azure Data Explorer: szybka, w pełni zarządzana i wysoce skalowalna usługa analizy danych w czasie rzeczywistym na potrzeby analizy dużych ilości danych przesyłanych strumieniowo z aplikacji, witryn internetowych, urządzeń IoT i nie tylko.
  • Pulpity nawigacyjne usługi Azure Data Explorer: natywnie eksportuj zapytania Kusto, które zostały eksplorowane w internetowym interfejsie użytkownika, aby zoptymalizować pulpity nawigacyjne.
  • Azure Synapse Analytics: usługa analizy, która łączy magazynowanie danych przedsiębiorstwa i analizę danych big data.

Szczegóły scenariusza

Potencjalne przypadki użycia

To rozwiązanie ilustruje, w jaki sposób usługi Azure Data Explorer i Azure Synapse Analytics uzupełniają się nawzajem w przypadku analizy niemal w czasie rzeczywistym i nowoczesnych przypadków użycia magazynowania danych.

To rozwiązanie jest już używane przez klientów firmy Microsoft. Na przykład oparta na Singapurze firma ride-hailing, Grab, wdrożyła analizę w czasie rzeczywistym na ogromnej ilości danych zebranych z usług taksówki i dostaw żywności, a także aplikacji partnerskich handlowych. Zespół z Grab przedstawił swoje rozwiązanie na MS Ignite w tym filmie (20:30 lub nowszych). Korzystając z tego wzorca, chwyć przetworzone ponad bilion zdarzeń dziennie.

To rozwiązanie jest zoptymalizowane pod kątem branży handlu detalicznego.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Został pierwotnie napisany przez następujących współautorów.

Główny autor:

Aby wyświetlić niepublice profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki