Azure에서 실시간 메시지 수집 기술 선택
실시간 처리에서는 데이터 스트림이 실시간으로 캡처되고 최소 대기 시간으로 처리됩니다. 많은 실시간 처리 솔루션에는 메시지에 대한 버퍼로 작동하고 스케일 아웃 처리, 안정적인 전달 및 기타 메시지 큐 의미 체계를 지원하는 메시지 수집 저장소가 필요합니다.
실시간 메시지 수집을 위해 사용할 수 있는 옵션은 무엇인가요?
Azure Event Hubs
Azure Event Hubs는 초당 수백만 개의 이벤트를 수신하고 처리할 수 있는 확장성이 뛰어난 데이터 스트리밍 플랫폼 및 이벤트 수집 서비스입니다. Event Hubs는 분산된 소프트웨어와 디바이스에서 생성된 이벤트, 데이터 또는 원격 분석을 처리하고 저장할 수 있습니다. Event Hub로 전송된 데이터는 실시간 분석 공급자 또는 일괄 처리/스토리지 어댑터를 사용하여 변환하고 저장할 수 있습니다. Event Hubs는 낮은 대기 시간으로 대규모의 게시-구독 기능을 제공하므로 빅 데이터 시나리오에 적합합니다.
Azure IoT Hub
Azure IoT Hub는 수백만의 IoT 디바이스와 클라우드 기반 백 엔드 간에서 안정적이고 안전한 양방향 통신이 가능하도록 관리되는 서비스입니다.
IoT Hub의 기능은 다음과 같습니다.
- 다수의 디바이스-클라우드 및 클라우드-디바이스 통신 옵션. 이러한 옵션에는 단방향 메시징, 파일 전송 및 요청-회신 메서드가 포함됩니다.
- 다른 Azure 서비스로의 메시지 라우팅
- 디바이스 메타데이터와 동기화된 상태 정보에 대한 쿼리 가능한 저장소
- 디바이스 단위 보안 키 또는 X.509 인증서를 사용하는 보안 통신 및 액세스 제어
- 디바이스 연결 및 디바이스 ID 관리 이벤트에 대한 모니터링
메시지 수집 측면에서 IoT Hub는 Event Hubs와 비슷합니다. 그러나 메시지 수집 뿐만 아니라 IoT 디바이스 연결을 관리하도록 특수하게 디자인되었습니다. 자세한 내용은 Azure IoT Hub 및 Azure Event Hubs의 비교를 참조하세요.
HDInsight의 Kafka
Apache Kafka는 실시간 스트리밍 데이터 파이프라인 및 스트리밍 애플리케이션을 만드는 데 사용할 수 있는 오픈 소스 분산형 스트리밍 플랫폼입니다. 또한 Kafka는 명명된 데이터 스트림을 게시하고 구독할 수 있는 메시지 대기열과 비슷한 메시지 브로커 기능을 제공합니다. 수평으로 확장이 가능하고 내결함성이며 매우 빠릅니다. HDInsight의 Kafka는 Azure에서 관리되고 확장성이 뛰어난 고가용성 서비스로서 Kafka를 제공합니다.
Kafka의 몇 가지 일반적인 사용 사례는 다음과 같습니다.
- 메시징 Kafka는 게시-구독 메시지 패턴을 지원하므로 종종 메시지 브로커로 사용됩니다.
- 활동 추적. Kafka는 순서대로 레코드 로그를 기록하므로 활동(예: 웹 사이트의 사용자 작업)을 추적하고 다시 만드는 데 사용할 수 있습니다.
- 집계. 스트림 처리를 사용하여 결합할 서로 다른 스트림의 정보를 한데 모으고 중앙에서 이 정보를 운영 데이터로 집중적으로 처리할 수 있습니다.
- 변환. 스트림 처리를 사용하여 여러 입력 토픽의 데이터를 하나 이상의 출력 토픽으로 결합하고 보강할 수 있습니다.
주요 선택 조건
선택 옵션의 범위를 좁히려면 먼저 다음 질문에 답변합니다.
IoT 디바이스와 Azure 간에 양방향 통신이 필요한가요? 그렇다면 IoT Hub를 선택합니다.
개별 디바이스에 대한 액세스를 관리하고, 특정 디바이스에 대한 액세스 권한을 취소할 수 있어야 하나요? 그렇다면 IoT Hub를 선택합니다.
기능 매트릭스
다음 표에서는 주요 기능 차이점을 요약해서 보여 줍니다.
| 기능 | IoT Hub | Event Hubs | HDInsight의 Kafka |
|---|---|---|---|
| 클라우드-디바이스 통신 | 예 | 예 | 예 |
| 디바이스에서 시작한 파일 업로드 | 예 | 아니요 | 예 |
| 디바이스 상태 정보 | 디바이스 쌍 | 예 | 예 |
| 프로토콜 지원 | MQTT, AMQP, HTTPS 1 | AMQP, HTTPS, Kafka 프로토콜 | Kafka Protocol |
| 보안 | 디바이스 단위 ID. 취소 가능한 액세스 제어 | 공유 액세스 정책. 게시자 정책을 통해 취소 제한 | SASL을 사용한 인증, 플러그 가능 인증, 외부 인증 서비스와의 통합 지원 |
[1] Azure IoT 프로토콜 게이트웨이를 사용자 지정 게이트웨이로 사용하여 IoT Hub에 대한 프로토콜 적응을 사용할 수도 있습니다.
참가자
이 문서는 Microsoft에서 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
주 작성자:
- 조이너 테자다 | CEO 및 설계자
다음 단계
자세한 내용은 Azure IoT Hub 및 Azure Event Hubs의 비교를 참조하세요.