Pomysły dotyczące rozwiązań
Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.
W tym artykule przedstawiono rozwiązanie dotyczące używania usługi Azure Kubernetes Service (AKS) do szybkiego przetwarzania i analizowania dużej ilości danych przesyłanych strumieniowo z urządzeń.
Apache®, Apache Kafka i Apache Spark są zastrzeżonymi znakami towarowymi lub znakami towarowymi platformy Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
- Czujniki generują dane i przesyłają strumieniowo je do usługi Azure API Management.
- Klaster usługi AKS uruchamia mikrousługi, które są wdrażane jako kontenery za siatką usług. Kontenery są tworzone przy użyciu procesu DevOps i są przechowywane w usłudze Azure Container Registry.
- Usługa pozyskiwania przechowuje dane w usłudze Azure Cosmos DB.
- Asynchronicznie usługa analizy odbiera dane i przesyła je strumieniowo do platform Apache Kafka i Azure HDInsight.
- Analitycy danych używają modeli uczenia maszynowego i platformy Splunk do analizowania danych.
- Usługa przetwarzania przetwarza dane i przechowuje wynik w usłudze Azure Database for PostgreSQL. Usługa buforuje również dane w usłudze Azure Cache for Redis.
- Aplikacja internetowa działająca w usłudze aplikacja systemu Azure Service tworzy wizualizacje wyników.
Składniki
Rozwiązanie korzysta z następujących kluczowych technologii:
- API Management
- App Service
- Azure Cache for Redis
- Container Registry
- Azure Cosmos DB
- Azure Database for PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
Szczegóły scenariusza
To rozwiązanie jest dobrym rozwiązaniem w przypadku scenariusza obejmującego miliony punktów danych, w których źródła danych obejmują urządzenia Internetu rzeczy (IoT), czujniki i pojazdy. W takiej sytuacji przetwarzanie dużej ilości danych jest jednym z wyzwań. Szybkie analizowanie danych jest kolejnym wymagającym zadaniem, ponieważ organizacje starają się uzyskać wgląd w złożone scenariusze.
Konteneryzowane mikrousługi w usłudze AKS stanowią kluczową część rozwiązania. Te samoobsługowe usługi pozyskiwania i przetwarzania strumienia danych w czasie rzeczywistym. Są one również skalowane zgodnie z potrzebami. Przenośność kontenerów umożliwia uruchamianie usług w różnych środowiskach i przetwarzanie danych z wielu źródeł. Aby opracowywać i wdrażać mikrousługi, używane są metodyki DevOps i ciągła integracja/ciągłe dostarczanie (CI/CD). Te podejścia skracają cykl programowania.
Aby przechowywać pozyskane dane, rozwiązanie korzysta z usługi Azure Cosmos DB. Ta baza danych elastycznie skaluje przepływność i magazyn, co sprawia, że jest to dobry wybór dla dużych ilości danych.
Rozwiązanie korzysta również z platformy Kafka. Ta platforma przesyłania strumieniowego o małych opóźnieniach obsługuje źródła danych w czasie rzeczywistym z bardzo dużą szybkością.
Innym kluczowym składnikiem rozwiązania jest usługa HDInsight, która jest zarządzaną usługą analizy w chmurze typu open source. Usługa HDInsight upraszcza uruchamianie struktur danych big data w dużej ilości i szybkości podczas korzystania z platformy Apache Spark na platformie Azure. Rozwiązanie Splunk pomaga w procesie analizy danych. Ta platforma tworzy wizualizacje na podstawie danych w czasie rzeczywistym i udostępnia analizę biznesową.
Potencjalne przypadki użycia
To rozwiązanie zapewnia następujące korzyści:
- Bezpieczeństwo pojazdów, zwłaszcza w przemyśle motoryzacyjnym
- Obsługa klienta w branży handlu detalicznego i innych branż
- Rozwiązania w chmurze opieki zdrowotnej
- Rozwiązania technologii finansowych w branży finansowej
Następne kroki
Dokumentacja produktu:
- Informacje o usłudze Azure Cache for Redis
- Co to jest usługa Azure API Management?
- Omówienie usługi App Service
- Azure Kubernetes Service
- Wprowadzenie do prywatnych rejestrów kontenerów platformy Docker na platformie Azure
- Azure Cosmos DB — Zapraszamy!
- Co to jest usługa Azure Database for PostgreSQL?
- Co to jest usługa Azure HDInsight?
- Co to jest usługa Azure Pipelines?
Moduły szkoleniowe firmy Microsoft:
- Tworzenie i przechowywanie obrazów kontenerów za pomocą usługi Azure Container Registry
- Konfigurowanie planów usługi aplikacja systemu Azure
- Praca z usługą Azure Cosmos DB
- Tworzenie i nawiązywanie połączenia z usługą Azure Database for PostgreSQL
- Programowanie dla usługi Azure Cache for Redis
- Eksplorowanie usługi API Management
- Zarządzanie infrastrukturą jako kodem przy użyciu platformy Azure i platformy DSC
- Wprowadzenie do usługi Azure HDInsight