Usługa Azure Event Hubs — platforma przesyłania strumieniowego danych big data i usługa pozyskiwania zdarzeń

Usługa Azure Event Hubs to platforma przesyłania strumieniowego danych big data i usługa pozyskiwania zdarzeń. Może odbierać i przetwarzać miliony zdarzeń na sekundę. Dane wysłane do centrum zdarzeń mogą zostać przekształcone i zmagazynowane przy użyciu dowolnego dostawcy analityki czasu rzeczywistego lub adapterów przetwarzania wsadowego/magazynowania.

Następujące scenariusze to niektóre z możliwych zastosowań usługi Event Hubs:

  • Wykrywanie anomalii (oszustwa/wartości odstające)
  • Rejestrowanie aplikacji
  • Potoki analiz, na przykład w analizie strumienia kliknięć
  • Tworzenie dynamicznych pulpitów nawigacyjnych
  • Archiwizowanie danych
  • Przetwarzanie transakcji
  • Przetwarzanie dane telemetrycznych o użytkownikach
  • Strumieniowe przesyłanie danych telemetrycznych z urządzenia

Dlaczego warto korzystać z usługi Event Hubs?

Dane są przydatne tylko wtedy, gdy istnieje łatwy sposób przetwarzania i uzyskania terminowych szczegółowych informacji ze źródeł danych. Usługa Event Hubs to rozproszona platforma do przetwarzania strumieniowego z małymi opóźnieniami, którą można bezproblemowo integrować z usługami danych i analiz na platformie Azure i poza nią w celu utworzenia pełnego potoku danych big data.

Usługa Event Hubs stanowi „drzwi wejściowe” dla potoku zdarzeń i jest często nazywana systemem zbierania zdarzeń w architekturach rozwiązań. System zbierania zdarzeń to składnik lub usługa, która znajduje się między wydawcami zdarzeń, a ich odbiorcami. Jego rolą jest oddzielenie procesu tworzenia strumienia zdarzeń od użycia tych zdarzeń. Usługa Event Hubs udostępnia ujednoliconą platformę przesyłania strumieniowego z buforem przechowywana czasowego, co umożliwia uniezależnienie wydawców i odbiorców zdarzeń.

W poniższych sekcjach opisano najważniejsze funkcje usługi Azure Event Hubs:

W pełni zarządzana usługa PaaS

Event Hubs to w pełni zarządzana usługa PaaS (Platform-as-a-Service), która wymaga niewielkich nakładów na konfigurację i zarządzanie, dzięki czemu możesz skoncentrować się na swoich rozwiązaniach biznesowych. Usługa Event Hubs dla ekosystemów platformy Apache Kafka zapewnia środowisko platformy Kafka jako usługę bez konieczności konfigurowania i uruchamiania klastrów ani zarządzania nimi.

Obsługa przetwarzania wsadowego w czasie rzeczywistym

Możesz pozyskiwać, buforować, przechowywać i przetwarzać strumień danych w czasie rzeczywistym, aby uzyskiwać praktyczne informacje. W usłudze Event Hubs jest używany partycjonowany model odbiorców, umożliwiający wielu aplikacjom jednoczesne przetwarzanie strumienia danych, podczas gdy Ty kontrolujesz szybkość przetwarzania. Usługę Azure Event Hubs można również zintegrować z usługą Azure Functions w celu uzyskania architektury bezserwerowej.

Przechwytywanie danych zdarzeń

Funkcja Capture umożliwia przechwytywanie danych niemal w czasie rzeczywistym do usługi Azure Blob Storage lub Azure Data Lake Storage  na potrzeby przechowywania długoterminowego lub przetwarzania mikropartii. Jest to możliwe w ramach tego samego strumienia, który jest używany do analizy w czasie rzeczywistym. Przechwytywanie danych zdarzeń można szybko skonfigurować. Nie ma żadnych kosztów administracyjnych związanych z jego uruchamianiem i jest ono skalowane automatycznie Event Hubs jednostek przepływności lub jednostek przetwarzania. Usługa Event Hubs pozwala Ci skoncentrować się na przetwarzaniu, a nie przechwytywaniu danych.

Skalowalność

Korzystając z usługi Event Hubs, możesz zacząć od strumieni danych liczonych w megabajtach i rozwijać je do rozmiaru gigabajtów, a nawet terabajtów. Funkcja automatycznego rozszerzania jest jedną z wielu dostępnych opcji skalowania liczby jednostek przepływności lub jednostek przetwarzania zgodnie z potrzebami użycia.

Zaawansowany ekosystem

Dzięki szerokiemu ekosystemowi opartemu na standardach branżowych protokołu AMQP 1.0 i dostępnemu w różnych językach .NET, Java, Python, JavaScriptmożesz łatwo rozpocząć przetwarzanie strumieni z Event Hubs. Wszystkie obsługiwane języki klienta zapewniają integrację niskiego poziomu. Ten ekosystem umożliwia również bezproblemową integrację z usługami platformy Azure, takimi jak Azure Stream Analytics i Azure Functions, umożliwiając w ten sposób tworzenie architektur bezserwerowych.

Usługa Event Hubs dla platformy Apache Kafka

Event Hubs ekosystemów Apache Kafka ponadto umożliwia klientom i aplikacjom Apache Kafka (1.0 i nowszych) rozmowę z Event Hubs. Nie musisz konfigurować i zarządzać własnymi klastrami Kafka i Zookeeper ani korzystać z niektórych ofert platformy Kafka jako usługi, które nie są natywne dla platformy Azure.

Event Hubs Premium i dedykowane

Event Hubs Premium spełnia potrzeby wysokiej klasy przesyłania strumieniowego, które wymagają najwyższej wydajności, lepszej izolacji z przewidywalnym opóźnieniem i minimalnym interferencją w zarządzanym wielodzierżowym środowisku PaaS. Poza wszystkimi funkcjami oferty standardowej warstwa Premium oferuje kilka dodatkowych funkcji, takich jak dynamiczne skalowanie partycji w górę, rozszerzone przechowywanie i klucze zarządzane przez klienta. Aby uzyskać więcej informacji, zobacz Event Hubs Premium.

Event Hubs dedykowana oferuje wdrożenia z jedną dzierżawą dla klientów o najbardziej wymagających potrzebach w zakresie przesyłania strumieniowego. Ta oferta pojedynczej dzierżawy ma gwarantowaną 99,99% umowy SLA i jest dostępna tylko w naszej dedykowanej warstwie cenowej. Klaster Event Hubs może przychodzących milionów zdarzeń na sekundę z gwarantowaną pojemnością i opóźnieniem na sekundę. Przestrzenie nazw i centra zdarzeń utworzone w dedykowanym klastrze obejmują wszystkie funkcje oferty Premium i nie tylko. Aby uzyskać więcej informacji, zobacz Event Hubs — warstwa Dedykowana.

Zobacz porównanie Event Hubs warstwami, aby uzyskać więcej szczegółów.

Usługa Event Hubs w infrastrukturze Azure Stack Hub

Event Hubs na Azure Stack Hub umożliwia realizację scenariuszy chmury hybrydowej. Obsługiwane są rozwiązania do przesyłania strumieniowego i oparte na zdarzeniach, zarówno w przypadku przetwarzania lokalnego, jak i przetwarzania w chmurze na platformie Azure. Bez względu na to, czy scenariusz jest hybrydowy (połączony), czy rozłączony, rozwiązanie może obsługiwać przetwarzanie zdarzeń/strumieni na dużą skalę. Scenariusz jest powiązany tylko z rozmiarem Event Hubs klastra, który można aprowizować zgodnie z potrzebami.

Wersje Event Hubs (na Azure Stack Hub i na platformie Azure) oferują wysoki stopień parzystości funkcji. Ta parzystość oznacza, że zestawy SDK, przykłady, program PowerShell, interfejs wiersza polecenia i portale oferują podobne środowisko z kilkoma różnicami.

Event Hubs oknie Stack jest bezpłatne w publicznej wersji zapoznawczej. Aby uzyskać więcej informacji, zobacz Event Hubs na Azure Stack Hub omówienie.

Główne składniki architektury

Usługa Event Hubs zawiera następujące kluczowe składniki:

  • Producenci zdarzeń: wszelkie jednostki, które wysyłają dane do centrum zdarzeń. Wydawcy zdarzeń mogą publikować zdarzenia przy użyciu protokołu HTTPS, protokołu AMQP 1.0 lub platformy Apache Kafka (w wersji 1.0 lub nowszej).
  • Partycje: każdy użytkownik odczytuje tylko określony podzestaw, czyli partycję, strumienia komunikatów.
  • Grupy odbiorców: widok (stan, pozycja lub przesunięcie) całego centrum zdarzeń. Dzięki grupom konsumentów każda z aplikacji korzystających z danych może mieć osobny widok strumienia zdarzeń. Odczytują one strumienie niezależnie, we własnym tempie i z własnym przesunięciem.
  • Jednostki przepływności lub jednostki przetwarzania:zakupione wcześniej jednostki pojemności, które kontrolują przepływność Event Hubs.
  • Odbiorcy zdarzeń: wszelkie jednostki, które odczytują dane zdarzenia z centrum zdarzeń. Wszyscy odbiorcy usługi Event Hubs łączą się za pomocą sesji protokołu AMQP 1.0. Usługa Event Hubs dostarcza zdarzenia za pośrednictwem sesji w miarę ich udostępniania. Wszyscy użytkownicy platformy Kafka nawiązują połączenia za pośrednictwem protokołu Kafka w wersji 1.0 lub nowszej.

Na poniższym rysunku przedstawiono architekturę przetwarzania strumienia usługi Event Hubs:

Event Hubs

Następne kroki

Aby rozpocząć korzystanie z Event Hubs, zobacz samouczki Wysyłanie i odbieranie zdarzeń:

Więcej informacji na temat usługi Event Hubs zawierają następujące artykuły: