Руководство. Создание и использование службы Apache Kafka для разработки

  • Статья

Приложения контейнеров Azure позволяют подключаться к службам разработки и рабочей среды, чтобы обеспечить широкий спектр функциональных возможностей приложений.

В этом руководстве описано, как создать и использовать службу Apache Kafka для разработки.

Команды Azure CLI и фрагменты шаблонов Bicep представлены в этом руководстве. При использовании Bicep можно добавить все фрагменты в один файл Bicep и развернуть шаблон одновременно.

  • Создание среды приложений-контейнеров для развертывания службы и приложения-контейнера
  • Создание службы Apache Kafka
  • Настройка приложения командной строки для использования службы Apache Kafka для разработки
  • Развертывание приложения kafka-ui для просмотра данных приложения
  • Компиляция окончательного шаблона bicep для развертывания всех ресурсов с помощью согласованного и прогнозируемого развертывания шаблона
  • azd Использование шаблона для развертывания одной команды всех ресурсов

Необходимые компоненты

Примечание.

Для развертывания одной команды перейдите к последнему azdшагу шаблона.

Настройка

  1. Определите переменные для общих значений.

    RESOURCE_GROUP="kafka-dev"
LOCATION="northcentralus"
ENVIRONMENT="aca-env"
KAFKA_SVC="kafka01"
KAFKA_CLI_APP="kafka-cli-app"
KAFKA_UI_APP="kafka-ui-app"

  2. Вход в Azure.

    az login

  3. Обновите интерфейс командной строки до последней версии.

    az upgrade

  4. Обновите Bicep до последней версии.

    az bicep upgrade

  5. Добавьте расширение th containerapp .

    az extension add --name containerapp --upgrade

  6. Зарегистрируйте необходимые пространства имен.

    az provider register --namespace Microsoft.App

    az provider register --namespace Microsoft.OperationalInsights

Создание среды приложений-контейнеров

  1. Создать группу ресурсов.

    az group create \
    --name "$RESOURCE_GROUP" \
    --location "$LOCATION"

  2. Создайте среду приложений-контейнеров.

    az containerapp env create \
  --name "$ENVIRONMENT" \
  --resource-group "$RESOURCE_GROUP" \
  --location "$LOCATION"

Создание службы Apache Kafka

  1. Создайте службу Apache Kafka.

    ENVIRONMENT_ID=$(az containerapp env show \
  --name "$ENVIRONMENT" \
  --resource-group "$RESOURCE_GROUP" \
  --output tsv \
  --query id)

  2. Разверните шаблон .

        az containerapp add-on kafka create \
    --name "$KAFKA_SVC" \
    --resource-group "$RESOURCE_GROUP" \
    --environment "$ENVIRONMENT"

  3. Просмотр выходных данных журнала из экземпляра Kafka

    logs Используйте команду для просмотра сообщений журнала.

    az containerapp logs show \
    --name $KAFKA_SVC \
    --resource-group $RESOURCE_GROUP \
    --follow --tail 30

    Снимок экрана: журналы службы приложения-контейнера kafka.

Создание приложения для тестирования службы

При создании приложения вы настроите его для использования ./kafka-topics.sh./kafka-console-producer.shи kafka-console-consumer.sh подключитесь к экземпляру Kafka.

  1. kafka-cli-app Создайте приложение, которое привязывается к службе Kafka.

    az containerapp create \
    --name "$KAFKA_CLI_APP" \
    --image mcr.microsoft.com/k8se/services/kafka:3.4 \
    --bind "$KAFKA_SVC" \
    --environment "$ENVIRONMENT" \
    --resource-group "$RESOURCE_GROUP" \
    --min-replicas 1 \
    --max-replicas 1 \
    --command "/bin/sleep" "infinity"

  2. Выполните команду CLI exec , чтобы подключиться к тестовом приложению.

    az containerapp exec \
    --name $KAFKA_CLI_APP \
    --resource-group $RESOURCE_GROUP \
    --command /bin/bash

    При использовании --bind или serviceBinds в тестовом приложении сведения о подключении внедряются в среду приложения. После подключения к тестовом контейнеру можно проверить значения с помощью env команды.

    env | grep "^KAFKA_"

KAFKA_SECURITYPROTOCOL=SASL_PLAINTEXT
KAFKA_BOOTSTRAPSERVER=kafka01:9092
KAFKA_HOME=/opt/kafka
KAFKA_PROPERTIES_SASL_JAAS_CONFIG=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka-user" password="7dw..." user_kafka-user="7dw..." ;
KAFKA_BOOTSTRAP_SERVERS=kafka01:9092
KAFKA_SASLUSERNAME=kafka-user
KAFKA_SASL_USER=kafka-user
KAFKA_VERSION=3.4.0
KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
KAFKA_SASL_PASSWORD=7dw...
KAFKA_SASLPASSWORD=7dw...
KAFKA_SASL_MECHANISM=PLAIN
KAFKA_SASLMECHANISM=PLAIN

  3. Используется kafka-topics.sh для создания раздела событий.

    Создайте файл kafka.props .

    echo "security.protocol=$KAFKA_SECURITY_PROTOCOL" >> kafka.props && \
echo "sasl.mechanism=$KAFKA_SASL_MECHANISM" >> kafka.props && \
echo "sasl.jaas.config=$KAFKA_PROPERTIES_SASL_JAAS_CONFIG" >> kafka.props

    quickstart-events Создайте раздел события.

    /opt/kafka/bin/kafka-topics.sh \
    --create --topic quickstart-events \
    --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
    --command-config kafka.props
# Created topic quickstart-events.

/opt/kafka/bin/kafka-topics.sh \
    --describe --topic quickstart-events \
    --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
    --command-config kafka.props
# Topic: quickstart-events	TopicId: lCkTKmvZSgSUCHozhhvz1Q	PartitionCount: 1	ReplicationFactor: 1	Configs: segment.bytes=1073741824
# Topic: quickstart-events	Partition: 0	Leader: 1	Replicas: 1	Isr: 1

  4. Используется kafka-console-producer.sh для записи событий в раздел.

    /opt/kafka/bin/kafka-console-producer.sh \
    --topic quickstart-events \
    --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
    --producer.config kafka.props

> this is my first event
> this is my second event
> this is my third event
> CTRL-C

    Примечание.

    В командной строке вы записываете ./kafka-console-producer.sh события с >помощью . Напишите некоторые события, как показано ниже, а затем нажмите CTRL-C на выход.

  5. Используется kafka-console-consumer.sh для чтения событий из раздела.

    /opt/kafka/bin/kafka-console-consumer.sh \
     --topic quickstart-events \
    --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
    --from-beginning \
    --consumer.config kafka.props

# this is my first event
# this is my second event
# this is my third event

Снимок экрана: журналы выходных данных приложения-контейнера kafka CLI.

Использование службы разработки с существующим приложением

Если у вас уже есть приложение, использующее Apache Kafka, можно изменить способ загрузки сведений о подключении.

Сначала создайте следующие переменные среды.

KAFKA_HOME=/opt/kafka
KAFKA_PROPERTIES_SASL_JAAS_CONFIG=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka-user" password="7dw..." user_kafka-user="7dw..." ;
KAFKA_BOOTSTRAP_SERVERS=kafka01:9092
KAFKA_SASL_USER=kafka-user
KAFKA_VERSION=3.4.0
KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
KAFKA_SASL_PASSWORD=7dw...
KAFKA_SASL_MECHANISM=PLAIN

С помощью интерфейса командной строки (или Bicep) можно обновить приложение, чтобы добавить --bind $KAFKA_SVC его для использования службы разработки.

Привязка к службе разработки

Разверните пользовательский интерфейс kafka для просмотра экземпляра Kafka и управления им.

См. пример Bicep или azd Bicep.

Снимок экрана: приложение-контейнер pgweb, подключающееся к службе Kafka.

Развертывание всех ресурсов

Используйте следующие примеры, чтобы одновременно развернуть все ресурсы.

Bicep

Следующий шаблон Bicep содержит все ресурсы в этом руководстве.

Файл можно создать kafka-dev.bicep с этим содержимым.

targetScope = 'resourceGroup'
param location string = resourceGroup().location
param appEnvironmentName string = 'aca-env'
param kafkaSvcName string = 'kafka01'
param kafkaCliAppName string = 'kafka-cli-app'
param kafkaUiAppName string = 'kafka-ui'

resource logAnalytics 'Microsoft.OperationalInsights/workspaces@2022-10-01' = {
  name: '${appEnvironmentName}-log-analytics'
  location: location
  properties: {
    sku: {
      name: 'PerGB2018'
    }
  }
}

resource appEnvironment 'Microsoft.App/managedEnvironments@2023-04-01-preview' = {
  name: appEnvironmentName
  location: location
  properties: {
    appLogsConfiguration: {
      destination: 'log-analytics'
      logAnalyticsConfiguration: {
        customerId: logAnalytics.properties.customerId
        sharedKey: logAnalytics.listKeys().primarySharedKey
      }
    }
  }
}

resource kafka 'Microsoft.App/containerApps@2023-04-01-preview' = {
  name: kafkaSvcName
  location: location
  properties: {
    environmentId: appEnvironment.id
    configuration: {
      service: {
          type: 'kafka'
      }
    }
  }
}

resource kafkaCli 'Microsoft.App/containerApps@2023-04-01-preview' = {
  name: kafkaCliAppName
  location: location
  properties: {
    environmentId: appEnvironment.id
    template: {
      serviceBinds: [
        {
          serviceId: kafka.id
        }
      ]
      containers: [
        {
          name: 'kafka-cli'
          image: 'mcr.microsoft.com/k8se/services/kafka:3.4'
          command: [ '/bin/sleep', 'infinity' ]
        }
      ]
      scale: {
        minReplicas: 1
        maxReplicas: 1
      }
    }
  }
}

resource kafkaUi 'Microsoft.App/containerApps@2023-04-01-preview' = {
  name: kafkaUiAppName
  location: location
  properties: {
    environmentId: appEnvironment.id
    configuration: {
      ingress: {
        external: true
        targetPort: 8080
      }
    }
    template: {
      serviceBinds: [
        {
          serviceId: kafka.id
          name: 'kafka'
        }
      ]
      containers: [
        {
          name: 'kafka-ui'
          image: 'docker.io/provectuslabs/kafka-ui:latest'
          command: [
            '/bin/sh'
          ]
          args: [
            '-c'
            '''export KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS="$KAFKA_BOOTSTRAP_SERVERS" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG="$KAFKA_PROPERTIES_SASL_JAAS_CONFIG" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM="$KAFKA_SASL_MECHANISM" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL="$KAFKA_SECURITY_PROTOCOL" && \
            java $JAVA_OPTS -jar kafka-ui-api.jar'''
          ]
          resources: {
            cpu: json('1.0')
            memory: '2.0Gi'
          }
        }
      ]
    }
  }
}

output kafkaUiUrl string = 'https://${kafkaUi.properties.configuration.ingress.fqdn}'

output kafkaCliExec string = 'az containerapp exec -n ${kafkaCli.name} -g ${resourceGroup().name} --command /bin/bash'

output kafkaLogs string = 'az containerapp logs show -n ${kafka.name} -g ${resourceGroup().name} --follow --tail 30'

Используйте Azure CLI для развертывания шаблона.

RESOURCE_GROUP="kafka-dev"
LOCATION="northcentralus"

az group create \
    --name "$RESOURCE_GROUP" \
    --location "$LOCATION"

az deployment group create -g $RESOURCE_GROUP \
    --query 'properties.outputs.*.value' \
    --template-file kafka-dev.bicep

Azure Developer CLI

Окончательный шаблон доступен на сайте GitHub.

Используется azd up для развертывания шаблона.

git clone https://github.com/Azure-Samples/aca-dev-service-kafka-azd
cd aca-dev-service-kafka-azd
azd up

Очистка ресурсов

После завершения выполните следующую команду, чтобы удалить группу ресурсов, содержащую ресурсы приложений контейнеров.

Внимание

Следующая команда удаляет указанную группу ресурсов и все ресурсы, содержащиеся в ней. Если в указанной группе ресурсов существуют другие ресурсы, кроме созданных для работы с этим учебником, они также будут удалены.

az group delete \
    --resource-group $RESOURCE_GROUP