Pomysły dotyczące rozwiązań
Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.
W tym artykule przedstawiono rozwiązanie do szybkiego przetwarzania i analizowania dużej ilości danych przesyłanych strumieniowo z urządzeń przy użyciu Azure Kubernetes Service (AKS).
Apache®, Apache Kafka i Apache Spark są zastrzeżonymi znakami towarowymi lub znakami towarowymi programu Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez program Apache Software Foundation.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
- Czujniki generują dane i przesyłają strumieniowo do usługi Azure API Management.
- Klaster usługi AKS uruchamia mikrousługi, które są wdrażane jako kontenery za siatką usług. Kontenery są tworzone przy użyciu procesu DevOps i są przechowywane w Azure Container Registry.
- Usługa pozyskiwania przechowuje dane w usłudze Azure Cosmos DB.
- Asynchronicznie usługa analizy odbiera dane i przesyła strumieniowo je do platform Apache Kafka i Azure HDInsight.
- Analitycy danych używają modeli uczenia maszynowego i platformy Splunk do analizowania danych.
- Usługa przetwarzania przetwarza dane i przechowuje wynik w Azure Database for PostgreSQL. Usługa buforuje również dane w Azure Cache for Redis.
- Aplikacja internetowa działająca w Azure App Service tworzy wizualizacje wyników.
Składniki
Rozwiązanie korzysta z następujących kluczowych technologii:
- API Management
- App Service
- Azure Cache for Redis
- Container Registry
- Azure Cosmos DB
- Azure Database for PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
Szczegóły scenariusza
To rozwiązanie jest dobrym rozwiązaniem dla scenariusza, który obejmuje miliony punktów danych, w których źródła danych obejmują urządzenia Internetu rzeczy (IoT), czujniki i pojazdy. W takiej sytuacji przetwarzanie dużej ilości danych jest jednym z wyzwań. Szybkie analizowanie danych jest kolejnym wymagającym zadaniem, ponieważ organizacje starają się uzyskać wgląd w złożone scenariusze.
Konteneryzowane mikrousługi w usłudze AKS stanowią kluczową część rozwiązania. Te samoobsługowe usługi pozyskiwania i przetwarzania strumienia danych w czasie rzeczywistym. Są one również skalowane zgodnie z potrzebami. Przenośność kontenerów umożliwia uruchamianie usług w różnych środowiskach i przetwarzanie danych z wielu źródeł. Aby opracowywać i wdrażać mikrousługi, używane są metodyki DevOps i ciągła integracja/ciągłe dostarczanie (CI/CD). Te podejścia skracają cykl programowania.
Aby przechowywać pozyskane dane, rozwiązanie używa usługi Azure Cosmos DB. Ta baza danych elastycznie skaluje przepływność i magazyn, co sprawia, że jest to dobry wybór dla dużych ilości danych.
Rozwiązanie używa również platformy Kafka. Ta platforma przesyłania strumieniowego o małych opóźnieniach obsługuje źródła danych w czasie rzeczywistym z bardzo dużą szybkością.
Innym kluczowym składnikiem rozwiązania jest usługa HDInsight, która jest zarządzaną usługą analizy w chmurze typu open source. Usługa HDInsight upraszcza uruchamianie struktur danych big data w dużej ilości i szybkości podczas korzystania z platformy Apache Spark na platformie Azure. Rozwiązanie Splunk pomaga w procesie analizy danych. Ta platforma tworzy wizualizacje na podstawie danych w czasie rzeczywistym i zapewnia analizę biznesową.
Potencjalne przypadki użycia
To rozwiązanie zapewnia następujące korzyści:
- Bezpieczeństwo pojazdów, zwłaszcza w branży motoryzacyjnej
- Obsługa klienta w handlu detalicznym i innych branżach
- Rozwiązania w chmurze dla opieki zdrowotnej
- Rozwiązania technologii finansowych w branży finansowej
Następne kroki
Dokumentacja produktu:
- Informacje o usłudze Azure Cache for Redis
- Co to jest usługa Azure API Management?
- Omówienie usługi App Service
- Azure Kubernetes Service
- Wprowadzenie do prywatnych rejestrów kontenerów platformy Docker na platformie Azure
- Azure Cosmos DB — Zapraszamy!
- Co to jest usługa Azure Database for PostgreSQL?
- Co to jest usługa Azure HDInsight?
- Co to jest usługa Azure Pipelines?
Moduły szkoleniowe firmy Microsoft:
- Tworzenie i przechowywanie obrazów kontenerów w usłudze Azure Container Registry
- Konfigurowanie planów Azure App Service
- Praca z usługą Azure Cosmos DB
- Tworzenie usługi Azure Database for PostgreSQL i łączenie się z nią
- Programowanie dla Azure Cache for Redis
- Eksplorowanie API Management
- Zarządzanie infrastrukturą jako kodem przy użyciu platformy Azure i rozszerzenia DSC
- Wprowadzenie do usługi Azure HDInsight