Потоковая передача данных с помощью Центров событий Azure и протокола KafkaData streaming with Event Hubs using the Kafka protocol

В этом кратком руководстве показано, как выполнять потоковую передачу данных в Центры событий с поддержкой Kafka без необходимости менять клиенты протоколов или запускать собственные кластеры.This quickstart shows how to stream into Kafka-enabled Event Hubs without changing your protocol clients or running your own clusters. Вы узнаете, как обеспечить взаимодействие отправителей и объектов-получателей с Центрами событий с поддержкой Kafka, изменив конфигурацию в приложениях.You learn how to use your producers and consumers to talk to Kafka-enabled Event Hubs with just a configuration change in your applications. Центры событий Azure поддерживают Apache Kafka 1.0.Azure Event Hubs supports Apache Kafka version 1.0.

Примечание

Этот пример можно найти на сайте GitHub.This sample is available on GitHub

Предварительные требованияPrerequisites

Ниже указаны требования для работы с этим кратким руководством.To complete this quickstart, make sure you have the following prerequisites:

Создание пространства имен Центров событий с поддержкой KafkaCreate a Kafka enabled Event Hubs namespace

  1. Войдите на портал Azure и щелкните Создать ресурс в левой верхней части экрана.Sign in to the Azure portal, and click Create a resource at the top left of the screen.

  2. Найдите Центры событий и выберите отображаемые параметры:Search for Event Hubs and select the options shown here:

    Поиск Центров событий на портале

  3. Укажите уникальное имя и включите Kafka в пространстве имен.Provide a unique name and enable Kafka on the namespace. Нажмите кнопку Создать.Click Create. Примечание. Центры событий для Kafka поддерживаются только Центрами событий ценовых категорий "Стандартный"и "Выделенный".Note: Event Hubs for Kafka is only supported by Standard and Dedicated tier Event Hubs. Центр событий цен. категории "Базовый" будет возвращать ошибку авторизации раздела в ответ на любые операции Kafka.Basic tier Event Hubs will return a Topic Authorization Error in response to any Kafka operations.

    Создание пространства имен

  4. Создав пространство имен, на вкладке Параметры щелкните Политики общего доступа для получения строки подключения.Once the namespace is created, on the Settings tab click Shared access policies to get the connection string.

    Выбор политик общего доступа

  5. Вы можете выбрать значение по умолчанию RootManageSharedAccessKey или добавить новую политику.You can choose the default RootManageSharedAccessKey, or add a new policy. Щелкните имя политики и скопируйте строку подключения.Click the policy name and copy the connection string.

    Выбор политики

  6. Добавьте эту строку подключения в конфигурацию приложения Kafka.Add this connection string to your Kafka application configuration.

Теперь можно выполнять потоковую передачу событий из приложений, использующих протокол Kafka, в Центры событий.You can now stream events from your applications that use the Kafka protocol into Event Hubs.

Отправка и получение сообщений с использованием Kafka в Центрах событийSend and receive messages with Kafka in Event Hubs

  1. Клонируйте репозиторий Центров событий Azure для Kafka.Clone the Azure Event Hubs for Kafka repository.

  2. Перейдите на страницу azure-event-hubs-for-kafka/quickstart/java/producer.Navigate to azure-event-hubs-for-kafka/quickstart/java/producer.

  3. Обновите сведения о конфигурации для отправителя в файле по адресу src/main/resources/producer.config следующим образом:Update the configuration details for the producer in src/main/resources/producer.config as follows:

    bootstrap.servers={YOUR.EVENTHUBS.FQDN}:9093
    security.protocol=SASL_SSL
    sasl.mechanism=PLAIN
    sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";
    
  4. Выполните код отправителя и потоковую передачу данных в Центры событий с поддержкой Kafka.Run the producer code and stream into Kafka-enabled Event Hubs:

    mvn clean package
    mvn exec:java -Dexec.mainClass="TestProducer"                                    
    
  5. Перейдите на страницу azure-event-hubs-for-kafka/quickstart/java/consumer.Navigate to azure-event-hubs-for-kafka/quickstart/java/consumer.

  6. Обновите для объекта-получателя сведения о конфигурации в файле по адресу src/main/resources/consumer.config следующим образом.Update the configuration details for the consumer in src/main/resources/consumer.config as follows:

    bootstrap.servers={YOUR.EVENTHUBS.FQDN}:9093
    security.protocol=SASL_SSL
    sasl.mechanism=PLAIN
    sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";
    
  7. Используя клиенты Kafka, запустите код объекта-получателя и обработку из включенных Центров событий с поддержкой Kafka.Run the consumer code and process from Kafka enabled Event Hubs using your Kafka clients:

    mvn clean package
    mvn exec:java -Dexec.mainClass="TestConsumer"                                    
    

Если у кластера Центров событий с поддержкой Kafka появятся события, можно начать получать их от объекта-получателя.If your Event Hubs Kafka cluster has events, you now start receiving them from the consumer.

Дополнительная информацияNext steps

В этой статье вы узнаете, как выполнять потоковую передачу данных в Центры событий с поддержкой Kafka без необходимости менять клиенты протоколов или запускать собственные кластеры.In this article, you learned how to stream into Kafka-enabled Event Hubs without changing your protocol clients or running your own clusters. Для получения дополнительных сведений перейдите к следующему руководству:To learn more, continue with the following tutorial: