Kafka API용 Azure Event Hubs에서 Spring Kafka 사용

  • 아티클

이 자습서에서는 Azure Event Hubs로 메시지를 보내고 받기 위해 Kafka용 Azure Event Hubs를 사용하도록 Java 기반 Spring Cloud Stream Binder를 구성하는 방법을 보여 줍니다. 자세한 내용은 Apache Kafka 애플리케이션에서 Azure Event Hubs 사용을 참조 하세요.

이 자습서에서는 Microsoft Entra 인증 및 SAS(공유 액세스 서명) 인증이라는 두 가지 인증 방법을 포함합니다. 암호 없는 탭에는 Microsoft Entra 인증이 표시되고 커넥트ion 문자열 탭에 SAS 인증이 표시됩니다.

Microsoft Entra 인증은 Microsoft Entra ID에 정의된 ID를 사용하여 Kafka용 Azure Event Hubs에 연결하는 메커니즘입니다. Microsoft Entra 인증을 사용하면 중앙 위치에서 데이터베이스 사용자 ID 및 기타 Microsoft 서비스를 관리할 수 있으므로 권한 관리가 간소화됩니다.

SAS 인증은 Kafka용 Event Hubs에 대한 위임된 액세스에 Azure Event Hubs 네임스페이스의 연결 문자열 사용합니다. 공유 액세스 서명을 자격 증명으로 사용하도록 선택하는 경우 연결 문자열 직접 관리해야 합니다.

필수 조건

  • Azure 구독 - 체험 구독 만들기

  • JDK(Java Development Kit) 버전 8 이상.

  • Apache Maven, 버전 3.2 이상.

  • cURL 또는 유사한 HTTP 유틸리티를 사용하여 기능을 테스트합니다.

  • Azure Cloud Shell 또는 Azure CLI 2.37.0 이상.

  • Azure 이벤트 허브입니다. 없는 경우 Azure Portal을 사용하여 이벤트 허브를 만듭니다.

  • Spring Boot 애플리케이션 없는 경우 Spring Initializr를 사용하여 Maven 프로젝트를 만듭니다. Maven 프로젝트를 선택하고 종속성 아래에서 Spring Web, Spring for Apache Kafka 및 Cloud Stream 종속성을 추가한 다음 Java 버전 8 이상을 선택합니다.

Important

이 자습서의 단계를 완료하려면 Spring Boot 버전 2.5 이상이 필요합니다.

자격 증명 준비

Azure Event Hubs는 Microsoft Entra ID를 사용하여 Event Hubs 리소스에 대한 요청에 권한을 부여하는 것을 지원합니다. Microsoft Entra ID를 사용하면 Azure RBAC(Azure 역할 기반 액세스 제어)를 사용하여 사용자 또는 애플리케이션 서비스 주체일 수 있는 보안 주체에 권한을 부여할 수 있습니다.

Microsoft Entra 인증을 사용하여 이 샘플을 로컬로 실행하려면 사용자 계정이 IntelliJ용 Azure 도구 키트, Visual Studio Code Azure 계정 플러그 인 또는 Azure CLI를 통해 인증되었는지 확인합니다. 또한 계정에 충분한 권한이 부여되었는지 확인합니다.

참고 항목

암호 없는 연결을 사용하는 경우 계정에 리소스에 대한 액세스 권한을 부여해야 합니다. Azure Event Hubs에서 현재 사용 중인 Microsoft Entra 계정에 해당 및 Azure Event Hubs Data Sender 역할을 할당 Azure Event Hubs Data Receiver 합니다. 액세스 역할 부여에 대한 자세한 내용은 Azure Portal 을 사용하여 Azure 역할 할당 및 Microsoft Entra ID를 사용하여 Event Hubs 리소스에 대한 액세스 권한 부여를 참조하세요.

Azure Event Hubs에서 메시지 보내기 및 받기

Azure 이벤트 허브를 사용하면 Spring Cloud Azure를 사용하여 메시지를 보내고 받을 수 있습니다.

Spring Cloud Azure Starter 모듈을 설치하려면 pom.xml 파일에 다음 종속성을 추가합니다.

  • Spring Cloud AZURE BOM(청구서)

    <dependencyManagement>
  <dependencies>
    <dependency>
      <groupId>com.azure.spring</groupId>
      <artifactId>spring-cloud-azure-dependencies</artifactId>
      <version>5.11.0</version>
      <type>pom</type>
      <scope>import</scope>
    </dependency>
  </dependencies>
</dependencyManagement>

    참고 항목

    Spring Boot 2.x를 사용하는 경우 버전을 .로 설정 spring-cloud-azure-dependencies 해야 합니다 4.17.0. 이 BOM(청구서)은 pom.xml 파일의 섹션에서 구성 <dependencyManagement> 해야 합니다. 이렇게 하면 모든 Spring Cloud Azure 종속성이 동일한 버전을 사용합니다. 이 BOM에 사용되는 버전에 대한 자세한 내용은 어떤 버전의 Spring Cloud Azure를 사용해야 하는지를 참조하세요.

  • Spring Cloud Azure Starter 아티팩트:

    <dependency>
   <groupId>com.azure.spring</groupId>
   <artifactId>spring-cloud-azure-starter</artifactId>
</dependency>

애플리케이션 코딩

다음 단계를 사용하여 Azure Event Hubs를 사용하여 메시지를 생성하고 사용하도록 애플리케이션을 구성합니다.

  1. application.properties 파일에 다음 속성을 추가하여 이벤트 허브 자격 증명을 구성합니다.

    spring.cloud.stream.kafka.binder.brokers=${AZ_EVENTHUBS_NAMESPACE_NAME}.servicebus.windows.net:9093
spring.cloud.function.definition=consume;supply
spring.cloud.stream.bindings.consume-in-0.destination=${AZ_EVENTHUB_NAME}
spring.cloud.stream.bindings.consume-in-0.group=$Default
spring.cloud.stream.bindings.supply-out-0.destination=${AZ_EVENTHUB_NAME}

    팁

    버전을 spring-cloud-azure-dependencies:4.3.0사용하는 경우 값을 com.azure.spring.cloud.autoconfigure.kafka.AzureKafkaSpringCloudStreamConfiguration사용하여 속성을 spring.cloud.stream.binders.<kafka-binder-name>.environment.spring.main.sources 추가해야 합니다.

    이 4.4.0속성은 자동으로 추가되므로 수동으로 추가할 필요가 없습니다.

    다음 표에서는 구성의 필드에 대해 설명합니다.

    필드 설명
    spring.cloud.stream.kafka.binder.brokers Azure Event Hubs 엔드포인트를 지정합니다.
    spring.cloud.stream.bindings.consume-in-0.destination 이 자습서에서는 이전에 만든 허브인 입력 대상 이벤트 허브를 지정합니다.
    spring.cloud.stream.bindings.consume-in-0.group Azure Event Hubs 인스턴스를 만들 때 만든 기본 소비자 그룹을 사용하도록 설정할 $Default 수 있는 Azure Event Hubs의 소비자 그룹을 지정합니다.
    spring.cloud.stream.bindings.supply-out-0.destination 출력 대상 이벤트 허브를 지정합니다. 이 자습서의 경우 입력 대상과 동일합니다.

    참고 항목

    자동 토픽 만들기를 사용하도록 설정하는 경우 값이 1 이상으로 설정된 구성 항목을 spring.cloud.stream.kafka.binder.replicationFactor추가해야 합니다. 자세한 내용은 Spring Cloud Stream Kafka 바인더 참조 가이드를 참조하세요.

  2. 시작 클래스 파일을 편집하여 다음 콘텐츠를 표시합니다.

    import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Bean;
import org.springframework.messaging.Message;
import org.springframework.messaging.support.GenericMessage;
import reactor.core.publisher.Flux;
import reactor.core.publisher.Sinks;
import java.util.function.Consumer;
import java.util.function.Supplier;

@SpringBootApplication
public class EventHubKafkaBinderApplication implements CommandLineRunner {

    private static final Logger LOGGER = LoggerFactory.getLogger(EventHubKafkaBinderApplication.class);

    private static final Sinks.Many<Message<String>> many = Sinks.many().unicast().onBackpressureBuffer();

    public static void main(String[] args) {
        SpringApplication.run(EventHubKafkaBinderApplication.class, args);
    }

    @Bean
    public Supplier<Flux<Message<String>>> supply() {
        return ()->many.asFlux()
                       .doOnNext(m->LOGGER.info("Manually sending message {}", m))
                       .doOnError(t->LOGGER.error("Error encountered", t));
    }

    @Bean
    public Consumer<Message<String>> consume() {
        return message->LOGGER.info("New message received: '{}'", message.getPayload());
    }

    @Override
    public void run(String... args) {
        many.emitNext(new GenericMessage<>("Hello World"), Sinks.EmitFailureHandler.FAIL_FAST);
    }

}

    팁

    이 자습서에서는 구성 또는 코드에 인증 작업이 없습니다. 그러나 Azure 서비스에 연결하려면 인증이 필요합니다. 인증을 완료하려면 Azure ID를 사용해야 합니다. Spring Cloud Azure는 코드 변경 없이 자격 증명을 가져오는 데 도움이 되는 Azure ID 라이브러리를 사용합니다 DefaultAzureCredential.

    DefaultAzureCredential은 여러 인증 방법을 지원하고 런타임에 사용할 방법을 결정합니다. 이 방법을 사용하면 앱이 환경별 코드를 구현하지 않고도 다양한 환경(예: 로컬 및 프로덕션 환경)에서 다양한 인증 방법을 사용할 수 있습니다. 자세한 내용은 DefaultAzureCredential을 참조 하세요.

    로컬 개발 환경에서 인증을 완료하려면 Azure CLI, Visual Studio Code, PowerShell 또는 기타 방법을 사용할 수 있습니다. 자세한 내용은 Java 개발 환경에서 Azure 인증을 참조 하세요. Azure 호스팅 환경에서 인증을 완료하려면 사용자 할당 관리 ID를 사용하는 것이 좋습니다. 자세한 내용은 Azure 리소스에 대한 관리 ID란?을 참조하세요.

  3. 애플리케이션을 시작합니다. 다음 예제와 같은 메시지가 애플리케이션 로그에 게시됩니다.

    Kafka version: 3.0.1
Kafka commitId: 62abe01bee039651
Kafka startTimeMs: 1622616433956
New message received: 'Hello World'

Azure Spring Apps에 배포

이제 Spring Boot 애플리케이션을 로컬로 실행했으므로 이제 프로덕션으로 이동해야 합니다. Azure Spring Apps 를 사용하면 코드를 변경하지 않고도 Spring Boot 애플리케이션을 Azure에 쉽게 배포할 수 있습니다. 이 서비스는 개발자가 코드에 집중할 수 있도록 Spring 애플리케이션의 인프라를 관리합니다. Azure Spring Apps는 포괄적인 모니터링 및 진단, 구성 관리, 서비스 검색, CI/CD 통합, 파란색-녹색 배포 등을 사용하여 수명 주기 관리를 제공합니다. Azure Spring Apps에 애플리케이션을 배포하려면 Azure Spring Apps에 첫 번째 애플리케이션 배포를 참조하세요.

다음 단계

Spring 개발자용 Azure Spring Cloud Azure Stream Binder Event Hubs Kafka 샘플