통합 개요

  • 아티클

수집, 오케스트레이션, 출력 및 데이터 쿼리를 위해 플랫폼과 원활하게 작동하는 많은 데이터 커넥터, 도구 및 통합이 있습니다. 이 문서는 사용 가능한 커넥터, 도구 및 통합에 대한 개략적인 개요입니다. 전체 설명서에 대한 링크와 함께 각 커넥터에 대한 자세한 정보가 제공됩니다.

특정 유형의 통합에 대한 개요 페이지의 경우 다음 단추 중 하나를 선택합니다.

데이터 통합

쿼리 통합

시각화 통합

비교 테이블

다음 표에서는 각 항목의 기능을 요약합니다. 커넥터 또는 도구 및 통합에 해당하는 탭을 선택합니다. 각 항목 이름은 자세한 설명에 연결됩니다.

다음 표에는 사용 가능한 커넥터 및 해당 기능이 요약되어 있습니다.

Name 수집 내보내기 오케스트레이션 쿼리
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Azure Synapse Analytics용 Apache Spark ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Azure Data Factory ✔️ ✔️
Azure Event Grid ✔️
Azure Event Hubs ✔️
Azure Functions ✔️ ✔️
Azure IoT Hubs ✔️
Azure Stream Analytics ✔️
Fluent Bit ✔️
JDBC ✔️
Logic Apps ✔️ ✔️ ✔️
Logstash ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
원격 분석 열기 ✔️
Power Apps ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Serilog ✔️
Splunk ✔️
Splunk 유니버설 전달자 ✔️
Telegraf ✔️

자세한 설명

다음은 커넥터 및 도구 및 통합에 대한 자세한 설명입니다. 커넥터 또는 도구 및 통합에 해당하는 탭을 선택합니다. 사용 가능한 모든 항목은 위의 비교 표 에 요약되어 있습니다.

Apache Kafka

Apache Kafka 는 시스템 또는 애플리케이션 간에 데이터를 안정적으로 이동하는 실시간 스트리밍 데이터 파이프라인을 빌드하기 위한 분산 스트리밍 플랫폼입니다. Kafka Connect는 Apache Kafka와 기타 데이터 시스템 간에 측정 가능하면서 안정적으로 데이터를 스트리밍하기 위한 도구입니다. Kafka 싱크는 Kafka의 커넥터 역할을 하며 코드를 사용할 필요가 없습니다. Confluent에서 인증한 골드로, 품질, 기능 완성도, 표준 준수 및 성능에 대한 포괄적인 검토 및 테스트를 거쳤습니다.

Apache Flink 는 바인딩되지 않은 데이터 스트림 및 바인딩된 데이터 스트림을 통해 상태 저장 계산을 위한 프레임워크 및 분산 처리 엔진입니다. 커넥터는 Azure Data Explorer 및 Flink 클러스터 간에 데이터를 이동하기 위한 데이터 싱크를 구현합니다. Azure Data Explorer 및 Apache Flink를 사용하여 데이터 기반 시나리오를 대상으로 하는 빠르고 확장 가능한 애플리케이션을 빌드할 수 있습니다. 예를 들어 ML(기계 학습), ETL(추출-변환-로드) 및 Log Analytics가 있습니다.

Apache Log4J 2

Log4J 는 Apache Foundation에서 유지 관리하는 Java 애플리케이션에 널리 사용되는 로깅 프레임워크입니다. Log4j를 사용하면 개발자가 로거 이름, 로거 수준 및 메시지 패턴에 따라 임의의 세분성으로 출력되는 로그 문을 제어할 수 있습니다. Apache Log4J 2 싱크를 사용하면 로그 데이터를 데이터베이스로 스트리밍하여 실시간으로 로그를 분석하고 시각화할 수 있습니다.

Apache Spark

Apache Spark는 대규모 데이터를 처리하기 위한 통합 분석 엔진입니다. Spark 커넥터는 모든 Spark 클러스터에서 실행할 수 있는 오픈 소스 프로젝트입니다. Spark 클러스터 간에 데이터를 이동하기 위한 데이터 원본 및 데이터 싱크를 구현합니다. Apache Spark 커넥터를 사용하여 데이터 기반 시나리오를 대상으로 하는 빠르고 확장 가능한 애플리케이션을 빌드할 수 있습니다. 예를 들어 ML(기계 학습), ETL(추출-변환-로드) 및 Log Analytics가 있습니다. 커넥터를 사용하면 데이터베이스가 읽기, 쓰기 및 쓰기Stream과 같은 표준 Spark 원본 및 싱크 작업에 유효한 데이터 저장소가 됩니다.

Azure Synapse Analytics용 Apache Spark

Apache Spark 는 빅 데이터 분석 애플리케이션의 성능을 향상시키기 위해 메모리 내 처리를 지원하는 병렬 처리 프레임워크입니다. Azure Synapse Analytics의 Apache Spark는 클라우드에서 Apache Spark를 구현한 Microsoft의 구현 중 하나입니다. Azure Synapse Analytics용 Apache Spark를 사용하여 Synapse Studio 데이터베이스에 액세스할 수 있습니다.

Azure Cosmos DB

Azure Cosmos DB 변경 피드 데이터 연결은 Cosmos DB 변경 피드를 수신 대기하고 데이터를 데이터베이스에 수집하는 수집 파이프라인입니다.

Azure Data Factory

ADF(Azure Data Factory)는 다양한 데이터 저장소를 통합하고 데이터에 대한 작업을 수행할 수 있는 클라우드 기반 데이터 통합 서비스입니다.

Azure Event Grid

Event Grid 수집은 Azure Storage를 수신 대기하고 구독된 이벤트가 발생할 때 정보를 끌어오도록 데이터베이스를 업데이트하는 파이프라인입니다. Azure Storage(Blob Storage 및 ADLSv2)에서 Blob의 이름이 변경된 Blob에 대한 Azure Event Grid 구독을 사용하여 지속적인 수집을 구성하고 Azure Event Hubs 통해 알림을 스트리밍할 수 있습니다.

  • 기능: 섭취
  • 수집 유형 지원: 일괄 처리, 스트리밍
  • 사용 사례: 이벤트 처리
  • 설명서:Event Grid 데이터 연결

Azure Event Hubs

Azure Event Hubs는 빅 데이터 스트리밍 플랫폼 및 이벤트 수집 서비스입니다. 고객 관리 Event Hubs에서 지속적인 수집을 구성할 수 있습니다.

Azure Functions

Azure Functions 일정에 따라 또는 이벤트에 대한 응답으로 클라우드에서 서버리스 코드를 실행할 수 있습니다. Azure Functions 대한 입력 및 출력 바인딩을 사용하면 데이터베이스를 워크플로에 통합하여 데이터를 수집하고 데이터베이스에 대해 쿼리를 실행할 수 있습니다.

Azure IoT Hubs

클라우드에서 호스팅되는 관리형 서비스인 Azure IoT Hub는 IoT 애플리케이션과 관리하는 디바이스 간의 양방향 통신을 위한 중앙 메시지 허브의 역할을 합니다. 디바이스-클라우드 메시지의 기본 제공 엔드포인트에서 호환되는 Event Hubs를 사용하여 고객 관리형 IoT Hubs에서 지속적인 수집을 구성할 수 있습니다.

  • 기능: 섭취
  • 수집 유형 지원: 일괄 처리, 스트리밍
  • 사용 사례: IoT 데이터
  • 설명서:데이터 연결 IoT Hub

Azure Stream Analytics

Azure Stream Analytics 는 여러 원본에서 대량의 빠른 스트리밍 데이터를 동시에 처리하도록 설계된 실시간 분석 및 복잡한 이벤트 처리 엔진입니다.

Fluent Bit

Fluent Bit 는 다양한 원본에서 로그, 메트릭 및 추적을 수집하는 오픈 소스 에이전트입니다. 이를 통해 이벤트 데이터를 스토리지로 보내기 전에 필터링, 수정 및 집계할 수 있습니다.

JDBC

JDBC(Java Database Connectivity)는 데이터베이스에 연결하고 쿼리를 실행하는 데 사용되는 Java API입니다. JDBC를 사용하여 Azure Data Explorer에 연결할 수 있습니다.

Logic Apps

Microsoft Logic Apps 커넥터를 사용하면 예약되거나 트리거된 작업의 일부로 쿼리 및 명령을 자동으로 실행할 수 있습니다.

Logstash

Logstash 플러그 인을 사용하면 나중에 분석할 수 있도록 Logstash에서 Azure Data Explorer 데이터베이스로 이벤트를 처리할 수 있습니다.

Matlab

MATLAB은 데이터를 분석하고, 알고리즘을 개발하고, 모델을 만드는 데 사용되는 프로그래밍 및 숫자 컴퓨팅 플랫폼입니다. AZURE Data Explorer 데이터를 쿼리하기 위한 권한 부여 토큰을 MATLAB에서 가져올 수 있습니다.

NLog

NLog는 .NET 표준을 비롯한 다양한 .NET 플랫폼에 대한 유연하고 무료 로깅 플랫폼입니다. NLog를 사용하면 데이터베이스, 파일 또는 콘솔과 같은 여러 대상에 쓸 수 있습니다. NLog를 사용하면 즉시 로깅 구성을 변경할 수 있습니다. NLog 싱크는 로그 메시지를 데이터베이스로 보낼 수 있는 NLog의 대상입니다. 플러그 인은 클러스터에 로그를 싱크하는 효율적인 방법을 제공합니다.

ODBC

ODBC(Open Database Connectivity)는 데이터베이스 액세스를 위해 널리 사용되는 API(애플리케이션 프로그래밍 인터페이스)입니다. Azure Data Explorer MS-TDS(SQL Server 통신 프로토콜)의 하위 집합과 호환됩니다. 이 호환성을 사용하면 Azure Data Explorer SQL Server ODBC 드라이버를 사용할 수 있습니다.

원격 분석 열기

OpenTelemetry 커넥터는 여러 수신기에서 데이터베이스로의 데이터 수집을 지원합니다. 필요에 따라 내보낸 데이터의 형식을 사용자 지정하여 원격 분석 열기에서 생성된 데이터를 데이터베이스에 수집하는 브리지로 작동합니다.

Power Apps

Power Apps 는 비즈니스 데이터에 연결하는 사용자 지정 앱을 빌드하는 신속한 애플리케이션 개발 환경을 제공하는 앱, 서비스, 커넥터 및 데이터 플랫폼 모음입니다. Power Apps 커넥터는 Azure Data Explorer 스트리밍 데이터의 크고 증가하는 컬렉션이 있고 이 데이터를 사용하기 위해 낮은 코드의 고도로 기능적인 앱을 빌드하려는 경우에 유용합니다.

Power Automate

Power Automate 는 비즈니스 프로세스를 자동화하는 데 사용되는 오케스트레이션 서비스입니다. Power Automate (이전의 Microsoft Flow) 커넥터를 사용하면 예약되거나 트리거된 작업의 일부로 흐름을 오케스트레이션 및 예약하고, 알림 및 경고를 보낼 수 있습니다.

Serilog

Serilog는 .NET 애플리케이션에 널리 사용되는 로깅 프레임워크입니다. Serilog를 사용하면 개발자가 로거 이름, 로거 수준 및 메시지 패턴에 따라 임의의 세분성으로 출력되는 로그 문을 제어할 수 있습니다. 부록이라고도 하는 Serilog 싱크는 로그 데이터를 데이터베이스로 스트리밍하여 실시간으로 로그를 분석하고 시각화할 수 있습니다.

Splunk

Splunk Enterprise는 여러 원본에서 동시에 데이터를 수집할 수 있는 소프트웨어 플랫폼입니다. Azure Data Explorer 추가 기능은 Splunk에서 클러스터의 테이블로 데이터를 보냅니다.

Splunk 유니버설 전달자

Telegraf

Telegraf는 로그, 메트릭 및 IoT 데이터를 포함한 원격 분석 데이터를 수집, 처리 및 작성하기 위한 오픈 소스, 경량, 최소 메모리 풋 인쇄 에이전트입니다. Telegraf는 수백 개의 입력 및 출력 플러그 인을 지원합니다. 오픈 소스 커뮤니티에서 널리 사용되고 잘 지원됩니다. 출력 플러그 인은 Telegraf의 커넥터 역할을 하며 여러 유형의 입력 플러그 인에서 데이터베이스로의 데이터 수집을 지원합니다.

관련 콘텐츠