Proces narzędzia do wykrywania anomalii

Databricks
Service Bus
Konta magazynu

Interfejs API Narzędzie do wykrywania anomalii umożliwia monitorowanie i wykrywanie nieprawidłowości w danych szeregów czasowych bez konieczności uczenia maszynowego. Algorytmy Narzędzie do wykrywania anomalii API dostosowują się przez automatyczne identyfikowanie i stosowanie najlepiej dopasowanych modeli do danych, niezależnie od branży, scenariusza lub ilości danych. Korzystając z danych szeregów czasu, interfejs API określa granice wykrywania anomalii, oczekiwane wartości i punkty danych, które są anomaliami.

Architektura

Diagram architektury

Pobierz format SVG tej architektury.

Przepływ danych

  1. Pozyska dane z różnych magazynów zawierających nieprzetworzone dane, które mają być monitorowane przez Narzędzie do wykrywania anomalii.
  2. Agreguje, przykłady i oblicza nieprzetworzone dane, aby wygenerować szereg czasowy, lub wywołuje interfejs API Narzędzie do wykrywania anomalii bezpośrednio, jeśli szereg czasowy jest już przygotowany i odpowiada za pomocą wyników wykrywania.
  3. Kolejkowanie metadanych związanych z anomalią.
  4. Aplikacja bez serwera wybiera komunikat z kolejki komunikatów na podstawie metadanych związanych z anomalią i wysyła alert o anomalii.
  5. Przechowuje metadane wykrywania anomalii.
  6. Wizualizowanie wyników wykrywania anomalii szeregów czasu.

Składniki

Kluczowe technologie używane do implementacji tej architektury:

  • Service Bus:niezawodna obsługa komunikatów w chmurze jako usługa (MaaS) i prosta integracja hybrydowa
  • Azure Databricks:Szybka, łatwa i oparta na współpracy usługa Apache Spark do analizy
  • Power BI:interaktywne narzędzia do wizualizacji danych analizy danych
  • Storage kont:trwały, wysoce dostępny i wysoce skalowalny magazyn w chmurze
  • Cognitive Services:usługi oparte na chmurze z interfejsami API REST i zestawami SDK biblioteki klienta, które ułatwiają tworzenie analizy poznawczej w aplikacjach
  • Logic Apps:bez serwera do tworzenia przepływów pracy przedsiębiorstwa, które integrują aplikacje, dane i usługi. W tej architekturze aplikacje logiki są wyzwalane przez żądania HTTP.

Alternatywy

  • Event Hubs użyciu platformy Kafka:alternatywa dla uruchamiania własnego klastra Kafka. Ta Event Hubs udostępnia punkt końcowy, który jest zgodny z interfejsami API platformy Kafka.
  • Azure Synapse Analytics:usługa analizy, która łączy magazynowanie danych przedsiębiorstwa i analizę danych big data
  • Azure Machine Learning: umożliwia tworzenie, trenowania i wdrażania niestandardowych modeli uczenia maszynowego/wykrywania anomalii oraz zarządzanie nimi w środowisku opartym na chmurze.

Zagadnienia do rozważenia

Skalowalność

Większość składników używanych w tym przykładowym scenariuszu to usługi zarządzane, które będą automatycznie skalowane.

Ogólne wskazówki dotyczące projektowania skalowalnych rozwiązań można znaleźć na liście kontrolnej dotyczącej wydajności w Centrum architektury platformy Azure.

Zabezpieczenia

Tożsamości zarządzane dla zasobów platformy Azure służą do zapewnienia dostępu do innych zasobów wewnętrznych konta, a następnie są przypisywane do Azure Functions. Zezwalaj na dostęp do wymaganych zasobów w tych tożsamościach, aby mieć pewność, że żadne dodatkowe zasoby nie będą widoczne dla Funkcji (i potencjalnie dla twoich klientów).

Ogólne wskazówki dotyczące projektowania bezpiecznych rozwiązań można znaleźć w dokumentacji zabezpieczeń platformy Azure.

Odporność

Wszystkie składniki w tym scenariuszu są zarządzane, więc na poziomie regionalnym są one automatycznie odporne.

Aby uzyskać ogólne wskazówki dotyczące projektowania rozwiązań odpornych na błędy, zobacz Projektowanie aplikacji odpornych na błędy dla platformy Azure.

Cennik

Aby poznać koszt działania tego scenariusza, zobacz wstępnie wypełniony kalkulator ze wszystkimi usługami. Aby zobaczyć, jak zmienią się ceny w konkretnym przypadku użycia, zmień odpowiednie zmienne, aby dopasować je do oczekiwanego ruchu/woluminów danych.

Podano trzy przykładowe profile kosztów na podstawie ruchu sieciowego (założono, że wszystkie obrazy mają rozmiar 100 KB):

  • Przykładowy kalkulator:ten przykład cennika to kalkulator ze wszystkimi usługami w tej architekturze, z Power BI i niestandardowym rozwiązaniem do alertów.

Następne kroki