Центры событий Azure — платформа потоковой передачи больших данных и служба приема событийAzure Event Hubs — A big data streaming platform and event ingestion service

Центры событий Azure представляют собой платформу потоковой передачи больших данных и службу приема событий.Azure Event Hubs is a big data streaming platform and event ingestion service. Она может получать и обрабатывать миллионы событий в секунду.It can receive and process millions of events per second. Данные, отправляемые в концентратор событий, можно преобразовывать и сохранять с помощью любого поставщика аналитики в реальном времени, а также с помощью адаптеров пакетной обработки или хранения.Data sent to an event hub can be transformed and stored by using any real-time analytics provider or batching/storage adapters.

Следующие сценарии являются одними из тех, в которых вы можете использовать Центры событий.The following scenarios are some of the scenarios where you can use Event Hubs:

  • Обнаружение аномалий (мошенничество/выбросы)Anomaly detection (fraud/outliers)
  • Ведение журнала приложенияApplication logging
  • Конвейеры аналитики, например сведения о посещенияхAnalytics pipelines, such as clickstreams
  • Динамические панели мониторингаLive dashboarding
  • Архивация данныхArchiving data
  • Обработка транзакцийTransaction processing
  • Обработка пользовательских телеметрических данныхUser telemetry processing
  • Потоковая передача данных телеметрии устройствDevice telemetry streaming

[!VIDEO https://www.youtube.com/watch?v=45wgY-VSk9I]

Каковы преимущества Центров событий?Why use Event Hubs?

Данные имеют практическую ценность только в том случае, если существует возможность быстро обрабатывать их и своевременно получать аналитические сведения на основе источников данных.Data is valuable only when there is an easy way to process and get timely insights from data sources. Центры событий предоставляют платформу обработки потока распределения, которая обеспечивает низкую задержку и эффективную интеграцию со службами обработки данных и аналитики на платформе Azure и вне ее, что позволяет создавать полнофункциональный конвейер больших данных.Event Hubs provides a distributed stream processing platform with low latency and seamless integration, with data and analytics services inside and outside Azure to build your complete big data pipeline.

Центры событий в архитектуре решения — это аналог парадного входа для конвейера событий. Иными словами, это приемник событий.Event Hubs represents the "front door" for an event pipeline, often called an event ingestor in solution architectures. Приемник событий — это компонент или служба, располагающиеся между источниками событий и адресатами событий и отделяющие создание потока событий от использования этих событий.An event ingestor is a component or service that sits between event publishers and event consumers to decouple the production of an event stream from the consumption of those events. Центры событий предоставляют унифицированную платформу потоковой передачи с буфером удержания времени, что позволяет отделить поставщиков событий от их потребителей.Event Hubs provides a unified streaming platform with time retention buffer, decoupling event producers from event consumers.

В следующих разделах описаны основные возможности службы "Центры событий Azure".The following sections describe key features of the Azure Event Hubs service:

Полностью управляемая архитектура PaaSFully managed PaaS

Центры событий — это полностью управляемая платформа как услуга (PaaS), не требующая значительных затрат усилий на конфигурацию и управление, что позволяет вам сосредоточиться на работе со своими решениями для бизнеса.Event Hubs is a fully managed Platform-as-a-Service (PaaS) with little configuration or management overhead, so you focus on your business solutions. Центры событий для экосистем Apache Kafka позволяют использовать возможности архитектуры PaaS Kafka, не тратя время и силы на настройку, эксплуатацию кластеров и управление ими.Event Hubs for Apache Kafka ecosystems gives you the PaaS Kafka experience without having to manage, configure, or run your clusters.

Поддержка обработки в режиме реального времени и пакетной обработкиSupport for real-time and batch processing

Возможность приема, буферизации, сохранения и обработки потоковых данных в реальном времени для получения ценной практической информации.Ingest, buffer, store, and process your stream in real time to get actionable insights. В Центрах событий используется секционированная модель потребителей, благодаря чему поток может обрабатываться одновременно несколькими приложениями с устанавливаемой вами скоростью.Event Hubs uses a partitioned consumer model, enabling multiple applications to process the stream concurrently and letting you control the speed of processing.

Сбор данных в близком к реальному времени режиме в хранилище BLOB-объектов Azure или Azure Data Lake Store  для долгосрочного хранения или микропакетной обработки.Capture your data in near-real time in an Azure Blob storage or Azure Data Lake Storage for long-term retention or micro-batch processing. Вы можете добиться этого поведения в том же потоке, который используется для получения аналитических данных в реальном времени.You can achieve this behavior on the same stream you use for deriving real-time analytics. Настройка сбора данных события выполняется быстро.Setting up capture of event data is fast. Ее использование не влечет дополнительных административных расходов, а масштабирование осуществляется автоматически на основе  единиц пропускной способности Центров событий.There are no administrative costs to run it, and it scales automatically with Event Hubs throughput units. Центры событий позволяют вам сосредоточиться на обработке данных, а не на их сборе.Event Hubs enables you to focus on data processing rather than on data capture.

Центры событий Azure также интегрированы с функциями Azure, образуя бессерверную архитектуру.Azure Event Hubs also integrates with Azure Functions for a serverless architecture.

масштабируемость,Scalable

Вы можете начать работу с Центрами событий с потоков размером в несколько мегабайт и при необходимости увеличить их объем до нескольких гигабайт или терабайт.With Event Hubs, you can start with data streams in megabytes, and grow to gigabytes or terabytes. Функция автоматического расширения является одним из множества доступных способов масштабирования количества единиц пропускной способности в соответствии с вашими требованиями.The Auto-inflate feature is one of the many options available to scale the number of throughput units to meet your usage needs.

Обширная экосистемаRich ecosystem

Центры событий для экосистем Apache Kafka позволяют клиентам и приложениям Apache Kafka (версии 1.0 и более поздних) работать со службой "Центры событий".Event Hubs for Apache Kafka ecosystems enables Apache Kafka (1.0 and later) clients and applications to talk to Event Hubs. Вам не нужно устанавливать, настраивать собственные кластеры Kafka и управлять ими.You do not need to set up, configure, and manage your own Kafka clusters.

Благодаря широкому спектру поддерживаемых экосистем на различных языках (.NET, Java, Python, Go, Node.js) вы сможете с легкостью приступить к обработке потоков из Центров событий.With a broad ecosystem available in various languages (.NET, Java, Python, Go, Node.js), you can easily start processing your streams from Event Hubs. Все поддерживаемые языки клиентов реализуют низкоуровневую интеграцию.All supported client languages provide low-level integration. Экосистема также обеспечивает тесную интеграцию со службами Azure (Azure Stream Analytics и Функции Azure), что позволяет создавать бессерверную архитектуру.The ecosystem also provides you with seamless integration with Azure services like Azure Stream Analytics and Azure Functions and thus enables you to build serverless architectures.

Основные компоненты архитектурыKey architecture components

Центры событий содержат следующие основные компоненты:Event Hubs contains the following key components:

  • Производители событий: любые сущности, которые отправляют данные в концентратор событий.Event producers: Any entity that sends data to an event hub. Издатели событий могут публиковать события с помощью HTTPS, AMQP 1.0 или Apache Kafka (версия 1.0 и более поздние).Event publishers can publish events using HTTPS or AMQP 1.0 or Apache Kafka (1.0 and above)
  • Разделы: каждый потребитель считывает только определенный раздел (подмножество) потока сообщений.Partitions: Each consumer only reads a specific subset, or partition, of the message stream.
  • Группы потребителей: представление всего концентратора событий (состояние, позиция или смещение).Consumer groups: A view (state, position, or offset) of an entire event hub. Группы получателей событий позволяют каждому из получающих события приложений иметь отдельное представление потока события.Consumer groups enable consuming applications to each have a separate view of the event stream. Они считывают поток независимо друг от друга в своем темпе и со смещениями.They read the stream independently at their own pace and with their own offsets.
  • Единицы пропускной способности: заранее приобретаемые единицы, определяющие пропускную способность Центров событий.Throughput units: Pre-purchased units of capacity that control the throughput capacity of Event Hubs.
  • Приемники событий: любые сущности, считывающие данные из концентратора событий.Event receivers: Any entity that reads event data from an event hub. Все потребители Центров событий подключаются через сеанс AMQP 1.0.All Event Hubs consumers connect via the AMQP 1.0 session. Служба "Центры событий" доставляет события через сеанс по мере их появления.The Event Hubs service delivers events through a session as they become available. Все объекты-получатели Kafka подключаются через протокол Kafka 1.0 и более поздней версии.All Kafka consumers connect via the Kafka protocol 1.0 and later.

На следующем рисунке показана архитектура обработки потока Центров событий.The following figure shows the Event Hubs stream processing architecture:

Центры событий

Дополнительная информацияNext steps

Чтобы приступить к работе с Центрами событий Azure, см. следующие руководства по отправке и приему событий:To get started using Event Hubs, see the Send and receive events tutorials:

Чтобы узнать больше о Центрах событий, обратитесь к следующим статьям:To learn more about Event Hubs, see the following articles: