Witamy w Azure Stream Analytics

Azure Stream Analytics to aparat do analizy w czasie rzeczywistym i złożonego przetwarzania zdarzeń, który jest przeznaczony do analizowania i przetwarzania dużych ilości szybkich danych przesyłanych strumieniowo z wielu źródeł jednocześnie. Wzorce i relacje można zidentyfikować w informacjach wyodrębnianych z wielu źródeł wejściowych, takich jak urządzenia, czujniki, clickstreamy, kanały informacyjne mediów społecznościowych i aplikacje. Wzorce te mogą służyć do wyzwalania akcji i inicjowania przepływów pracy, takich jak tworzenie alertów, podawanie informacji do narzędzia do raportowania lub przechowywanie przekształceń danych do późniejszego użycia. Ponadto Stream Analytics w środowisku uruchomieniowym Azure IoT Edge, umożliwiając przetwarzanie danych na urządzeniach IoT.

Poniżej przedstawiono przykładowe scenariusze użycia Azure Stream Analytics:

  • Analizowanie strumieni telemetrii w czasie rzeczywistym z urządzeń IoT
  • Analiza strumienia kliknięć w internecie oraz analiza dzienników internetowych
  • Geoprzestrzenna analiza na potrzeby zarządzania flotą i korzystania z pojazdów nie wymagających kierowcy
  • Zdalne monitorowanie i konserwacja predykcyjna zasobów o wysokiej wartości
  • Analiza danych punktu sprzedaży w czasie rzeczywistym na potrzeby kontroli zapasów i wykrywania anomalii

Możesz wypróbować usługę Azure Stream Analytics z bezpłatną subskrypcją platformy Azure.

Jak działa usługa Stream Analytics?

Zadanie Azure Stream Analytics składa się z danych wejściowych, zapytania i danych wyjściowych. Stream Analytics pozysłuje dane z Azure Event Hubs (w tym Azure Event Hubs z Apache Kafka), Azure IoT Hub lub Azure Blob Storage. Zapytanie, które jest oparte na SQL języka zapytań, może służyć do łatwego filtrowania, sortowania, agregowania i dołączania danych przesyłanych strumieniowo w pewnym okresie. Możesz również rozszerzyć ten język SQL języka przy użyciu języka JavaScript i funkcji zdefiniowanych przez użytkownika (UDF) języka C#. Podczas wykonywania operacji agregacji za pomocą prostych konstrukcji języka i/lub konfiguracji można łatwo dostosować opcje kolejności zdarzeń i czas trwania okien.

Każde zadanie ma jeden lub kilka danych wyjściowych dla przekształcone dane i możesz kontrolować, co się dzieje w odpowiedzi na analizowane informacje. Możesz na przykład:

  • Wysyłaj dane do usług, takich Azure Functions, Service Bus tematów lub kolejek, aby wyzwalać komunikację lub niestandardowe przepływy pracy podrzędne.
  • Wysyłanie danych do pulpitu Power BI pulpitu nawigacyjnego w czasie rzeczywistym.
  • Przechowywanie danych w innych usługach azure storage (na przykład Azure Data Lake, Azure Synapse Analytics itp.) trenowanie modelu uczenia maszynowego na podstawie danych historycznych lub wykonywanie analizy wsadowej.

Na poniższej ilustracji przedstawiono sposób, w jaki dane są wysyłane do Stream Analytics, analizowane i wysyłane na inne akcje, takie jak magazyn lub prezentacja:

Wprowadzenie do potoku usługi Stream Analytics

Najważniejsze funkcje i korzyści

Usługa Stream Analytics została zaprojektowana tak, aby była łatwa w użyciu, elastyczna, niezawodna i skalowalna do dowolnej wielkości zadania. Jest ona dostępna w wielu regionach świadczenia usługi Azure i działa IoT Edge lub Azure Stack.

Łatwość rozpoczynania pracy

Azure Stream Analytics można łatwo uruchomić. Wystarczy kilka kliknięć, aby nawiązać połączenie z wieloma źródłami i ujściami, tworząc potok typu end-to-end. Stream Analytics połączyć się z Azure Event Hubs i Azure IoT Hub na celu pozyskiwanie danych przesyłanych strumieniowo, a także z usługą Azure Blob Storage w celu pozyskiwania danych historycznych. Dane wejściowe zadania mogą również obejmować statyczne lub wolno zmieniające się dane referencyjne z usługi Azure Blob Storage lub SQL Database, które można połączyć z danymi przesyłanych strumieniowo w celu wykonywania operacji wyszukiwania.

Stream Analytics można przekierowyć dane wyjściowe zadania do wielu systemów magazynu, takich jak Azure Blob Storage, Azure SQL Database, Azure Data Lake Store i Azure CosmosDB. Możesz również uruchomić analizę wsadową dla strumieniowych danych wyjściowych za pomocą usługi Azure Synapse Analytics lub HDInsight albo wysłać dane wyjściowe do innej usługi, na przykład Event Hubs do użycia lub Power BI na potrzeby wizualizacji w czasie rzeczywistym.

Aby uzyskać pełną listę danych wyjściowych Stream Analytics, zobacz Understand outputs from Azure Stream Analytics(Informacje o danych wyjściowych z Azure Stream Analytics ).

Produktywność programistów

Azure Stream Analytics używa SQL zapytań, który został rozszerzony o zaawansowane ograniczenia czasowe do analizowania danych w ruchu. Zadania można również tworzyć przy użyciu narzędzi programistycznych, takich jak Azure PowerShell, interfejs wiersza polecenia platformy Azure, Stream Analytics Visual Studio narzędzi, rozszerzenie Stream Analytics Visual Studio Codelub Azure Resource Manager szablonów. Narzędzia deweloperskie umożliwiają tworzenie zapytań przekształceń w trybie offline i przesyłanie zadań na platformę Azure przy użyciu potoku ci/cd.

Język Stream Analytics umożliwia wykonywanie operacji CEP (złożone przetwarzanie zdarzeń), oferując szeroką gamę funkcji do analizowania danych przesyłanych strumieniowo. Ten język zapytań obsługuje proste manipulowanie danymi, funkcje agregacji i analizy, funkcje geoprzestrzenalne, dopasowywanie wzorców i wykrywanie anomalii. Zapytania można edytować w portalu lub przy użyciu naszych narzędzi programistów, a następnie testować je przy użyciu przykładowych danych wyodrębnianych ze strumienia na żywo.

Możliwości języka zapytań można rozszerzyć, definiując i wywołując dodatkowe funkcje. Wywołania funkcji można definiować w interfejsie Azure Machine Learning, aby korzystać z rozwiązań Azure Machine Learning, oraz zintegrować funkcje języka JavaScript lub C# zdefiniowane przez użytkownika (UDF) lub agregacje zdefiniowane przez użytkownika w celu wykonywania złożonych obliczeń w ramach zapytania Stream Analytics.

W pełni zarządzane

Azure Stream Analytics to w pełni zarządzana oferta (PaaS) na platformie Azure. Nie trzeba aprowizować żadnego sprzętu ani infrastruktury, aktualizować systemu operacyjnego ani oprogramowania. Azure Stream Analytics zarządza Twoim zadaniem, dzięki czemu możesz skoncentrować się na logice biznesowej, a nie na infrastrukturze.

Uruchamianie w chmurze lub na inteligentnych urządzeniach brzegowych

Azure Stream Analytics można uruchamiać w chmurze na dużą skalę lub na platformie IoT Edge lub Azure Stack w celu analizy o bardzo małych opóźnieniach. Azure Stream Analytics korzysta z tych samych narzędzi i języka zapytań zarówno w chmurze, jak i na urządzeniach brzegowych, umożliwiając deweloperom tworzenie prawdziwie hybrydowych architektur do przetwarzania strumieniowego.

Niski całkowity koszt posiadania

Jako usługa w chmurze usługa Stream Analytics jest zoptymalizowana pod kątem niskiego kosztu. Nie są związane żadne koszty z góry — płacisz tylko za zużyte jednostki przesyłania strumieniowego. Aprowizowanie klastra nie jest wymagane ani wymagane, a zadanie można skalować w górę lub w dół zgodnie z potrzebami biznesowymi.

Gotowość na sytuacje krytyczne dla działalności firmy

Azure Stream Analytics jest dostępna w wielu regionach na całym świecie i jest przeznaczona do uruchamiania obciążeń o krytycznym znaczeniu przez obsługę wymagań dotyczących niezawodności, zabezpieczeń i zgodności.

Niezawodność

Azure Stream Analytics gwarantuje dokładnie raz przetwarzanie zdarzeń i co najmniej raz dostarczenie zdarzeń, więc nigdy nie zostaną utracone zdarzenia. Dokładnie raz przetwarzanie jest gwarantowane przy użyciu wybranych danych wyjściowych, zgodnie z opisem w gwarancjach dostarczania zdarzeń.

Usługa Azure Stream Analytics ma wbudowane funkcje odzyskiwania na wypadek awarii podczas dostarczania zdarzeń. Stream Analytics udostępnia również wbudowane punkty kontrolne do obsługi stanu zadania i zapewnia powtarzalne wyniki.

Jako usługa zarządzana usługa Stream Analytics przetwarzanie zdarzeń z dostępnością na poziomie 99,9% na poziomie szczegółowości na poziomie minuty.

Zabezpieczenia

Z punktu widzenia zabezpieczeń usługa Azure Stream Analytics szyfruje całą komunikację przychodzącą i wychodzącą oraz obsługuje protokół TLS 1.2. Wbudowane punkty kontrolne również są szyfrowane. Usługa Stream Analytics nie przechowuje danych przychodzących, ponieważ całe przetwarzanie odbywa się w pamięci. Stream Analytics obsługuje również sieci wirtualne platformy Azure podczas uruchamiania zadania w klastrze Stream Analytics wirtualnego.

Zgodność

Usługa Azure Stream Analytics zapewnia dostosowanie do wielu certyfikatów zgodności, co zostało opisane w przeglądzie zgodności platformy Azure.

Wydajność

Stream Analytics przetwarzać miliony zdarzeń co sekundę i dostarczać wyniki z bardzo małymi opóźnieniami. Umożliwia ona skalowanie w celu dostosowania do obciążeń. Stream Analytics obsługuje wyższą wydajność dzięki partycjonowania, umożliwiając przetwarzanie równoległe złożonych zapytań i wykonywanie ich w wielu węzłach przesyłania strumieniowego. Usługa Azure Stream Analytics jest oparta na Trill, aparacie analizy przesyłania strumieniowego w pamięci o wysokiej wydajności opracowanym we współpracy z Microsoft Research.

Następne kroki

Masz już podstawowe informacje o usłudze Azure Stream Analytics. Teraz możesz utworzyć pierwsze zadanie w usłudze Stream Analytics: