Microsoft Fabric 이벤트 스트림 - 개요
Microsoft Fabric 실시간 인텔리전스 환경의 이벤트 스트림 기능을 사용하면 실시간 이벤트를 패브릭으로 가져와서 변환한 다음 코드를 작성하지 않고도 다양한 대상으로 라우팅할 수 있습니다(코드 없음). Fabric에서 Eventstream 항목의 인스턴스인 Eventstream 을 만들고, 스트림에 이벤트 데이터 원본을 추가하고, 필요에 따라 변환을 추가하여 이벤트 데이터를 변환한 다음, 지원되는 대상으로 데이터를 라우팅합니다.
패브릭으로 이벤트 가져오기
이벤트 스트림 기능은 다양한 원본에서 이벤트 데이터를 가져올 수 있는 다양한 원본 커넥터를 제공합니다. Eventstream을 만들 때 향상된 기능을 사용하도록 설정할 때 더 많은 원본을 사용할 수 있습니다.
Important
패브릭 이벤트 스트림의 향상된 기능은 현재 미리 보기로 제공됩니다.
| 원본 | 설명 |
|---|---|
| Azure Event Hubs | Azure 이벤트 허브가 있는 경우 Eventstream을 사용하여 이벤트 허브 데이터를 Microsoft Fabric에 수집할 수 있습니다. |
| Azure IoT Hub | Azure IoT Hub가 있는 경우 Eventstream을 사용하여 Microsoft Fabric에 IoT 데이터를 수집할 수 있습니다. |
| Azure SQL Database CDC(변경 데이터 캡처) | Azure SQL Database CDC 원본 커넥터를 사용하면 Azure SQL 데이터베이스에서 현재 데이터의 스냅샷 캡처할 수 있습니다. 그런 다음 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| PostgreSQL 데이터베이스 CDC | PostgreSQL CDC(데이터베이스 변경 데이터 캡처) 원본 커넥터를 사용하면 PostgreSQL 데이터베이스에서 현재 데이터의 스냅샷 캡처할 수 있습니다. 그런 다음 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| MySQL 데이터베이스 CDC | Azure MySQL CDC(데이터베이스 변경 데이터 캡처) 원본 커넥터를 사용하면 Azure Database for MySQL 데이터베이스에서 현재 데이터의 스냅샷 캡처할 수 있습니다. 모니터링할 테이블을 지정할 수 있으며 Eventstream은 테이블에 대한 향후 행 수준 변경 내용을 기록합니다. |
| Azure Cosmos DB CDC | Microsoft Fabric 이벤트 스트림용 Azure Cosmos DB CDC(변경 데이터 캡처) 원본 커넥터를 사용하면 Azure Cosmos DB 데이터베이스에서 현재 데이터의 스냅샷 캡처할 수 있습니다. 그런 다음 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| Google Cloud Pub/Sub | Google Pub/Sub는 이벤트 스트림을 게시하고 구독할 수 있는 메시징 서비스입니다. Google Pub/Sub를 이벤트 스트림에 원본으로 추가하여 실시간 이벤트를 캡처, 변환 및 패브릭의 다양한 대상으로 라우팅할 수 있습니다. |
| Amazon Kinesis Data 스트림 | Amazon Kinesis Data 스트림 스트리밍 데이터에 최적화된 확장성 있고 내구성이 뛰어난 데이터 수집 및 처리 서비스입니다. Amazon Kinesis Data 스트림 이벤트 스트림 내의 원본으로 통합하면 패브릭 내의 여러 대상으로 라우팅하기 전에 실시간 데이터 스트림을 원활하게 처리할 수 있습니다. |
| Confluent Cloud Kafka | Confluent Cloud Kafka는 Apache Kafka를 사용하여 강력한 데이터 스트리밍 및 처리 기능을 제공하는 스트리밍 플랫폼입니다. Confluent Cloud Kafka를 이벤트 스트림 내의 원본으로 통합하면 패브릭 내의 여러 대상으로 라우팅하기 전에 실시간 데이터 스트림을 원활하게 처리할 수 있습니다. |
| Azure Blob Storage 이벤트 | Azure Blob Storage 이벤트는 클라이언트가 Blob을 만들거나 바꾸거나 삭제할 때 트리거됩니다. 커넥터를 사용하면 Blob Storage 이벤트를 실시간 허브의 패브릭 이벤트에 연결할 수 있습니다. 이러한 이벤트를 연속 데이터 스트림으로 변환하고 패브릭의 다양한 대상으로 라우팅하기 전에 변환할 수 있습니다. |
| 패브릭 작업 영역 항목 이벤트 | 패브릭 작업 영역 항목 이벤트는 패브릭 작업 영역을 변경할 때 발생하는 불연속 패브릭 이벤트입니다. 이러한 변경 내용에는 패브릭 항목 만들기, 업데이트 또는 삭제가 포함되었습니다. Fabric 이벤트 스트림을 사용하면 이러한 패브릭 작업 영역 이벤트를 캡처하고, 변환하고, 패브릭의 다양한 대상으로 라우팅하여 추가 분석을 수행할 수 있습니다. |
| 샘플 데이터 | 이벤트 스트림을 설정하는 동안 데이터 수집을 테스트하기 위해 자전거, 노란색 택시 또는 주식 시장 이벤트를 샘플 데이터 원본으로 선택할 수 있습니다. |
| 사용자 지정 엔드포인트. | 사용자 지정 앱 기능을 사용하면 애플리케이션 또는 Kafka 클라이언트가 연결 문자열 사용하여 Eventstream에 연결할 수 있으므로 스트리밍 데이터를 Eventstream으로 원활하게 수집할 수 있습니다. |
코드 없음 환경을 사용하여 이벤트 처리
끌어서 놓기 환경을 사용하면 코드를 작성하지 않고도 이벤트 데이터 처리, 변환 및 라우팅 논리를 직관적이고 쉽게 만들 수 있습니다. 이벤트 스트림의 엔드 투 엔드 데이터 흐름 다이어그램은 데이터 흐름 및 조직에 대한 포괄적인 이해를 제공할 수 있습니다. 이벤트 프로세서 편집기는 이벤트 데이터 처리 논리를 디자인하기 위해 끌어서 놓을 수 있는 코드 없는 환경입니다.
| 변환 | 설명 |
|---|---|
| Filter | 필터 변환을 사용하여 입력의 필드 값에 따라 이벤트를 필터링합니다. 데이터 형식(숫자 또는 텍스트)에 따라 변환은 선택한 조건(예: is null 또는 is not null)과 일치하는 값을 유지합니다. |
| 필드 관리 | 필드 관리 변환을 사용하면 입력 또는 다른 변환에서 들어오는 필드를 추가, 제거, 변경 또는 이름을 바꿀 수 있습니다. |
| 집계 | 집계 변환을 사용하여 일정 기간 동안 새 이벤트가 발생할 때마다 집계(합계, 최소값, 최대값 또는 평균)를 계산합니다. 또한 이 작업을 통해 계산 열의 이름을 바꾸고 데이터의 다른 차원을 기반으로 집계를 필터링하거나 분할할 수 있습니다. 동일한 변환에 하나 이상의 집계가 있을 수 있습니다. |
| 그룹 기준 | 그룹화 기준 변환을 사용하여 특정 시간 범위 내의 모든 이벤트에 대한 집계를 계산합니다. 하나 이상의 필드에 있는 값을 기준으로 그룹화할 수 있습니다. 이는 집계 변환을 통해 열 이름을 바꿀 수 있지만 집계에 대한 더 많은 옵션을 제공하고 기간에 대한 더 복잡한 옵션을 포함하는 것과 같습니다. 집계와 마찬가지로 변환당 둘 이상의 집계를 추가할 수 있습니다. |
| Union | 공용 구조체 변환을 사용하여 두 개 이상의 노드를 연결하고 공유 필드(이름과 데이터 형식이 같은)가 있는 이벤트를 하나의 테이블에 추가합니다. 일치하지 않는 필드는 삭제되고 출력에 포함되지 않습니다. |
| 확장 | 배열 확장 변환을 사용하여 배열 내의 각 값에 대한 새 행을 만듭니다. |
| 참여 | 조인 변환을 사용하여 두 스트림 간의 일치 조건에 따라 두 스트림의 데이터를 결합합니다. |
Eventstream을 만드는 동안 향상된 기능을 사용하도록 설정한 경우 변환 작업은 모든 대상에 대해 지원됩니다. 그렇지 않은 경우 변환 작업은 Lakehouse 및 KQL 데이터베이스(수집 전 이벤트 처리) 대상에만 사용할 수 있습니다.
대상에 이벤트 라우팅
Fabric 이벤트 스트림 기능은 지원되는 다음 대상으로 데이터 전송을 지원합니다.
| 대상 | 설명 |
|---|---|
| 사용자 지정 앱 | 이 대상을 사용하면 실시간 이벤트를 사용자 지정 엔드포인트로 쉽게 라우팅할 수 있습니다. 사용자 고유의 애플리케이션을 eventstream에 연결하고 이벤트 데이터를 실시간으로 사용할 수 있습니다. 이 대상은 실시간 데이터를 Microsoft Fabric 외부의 외부 시스템으로 송신하려는 경우에 유용합니다. |
| KQL 데이터베이스 | 이 대상을 사용하면 KQL(강력한 Kusto 쿼리 언어)을 사용하여 데이터를 쿼리하고 분석할 수 있는 KQL 데이터베이스에 실시간 이벤트 데이터를 수집할 수 있습니다. Kusto 데이터베이스의 데이터를 사용하여 이벤트 데이터에 대한 심층적인 인사이트를 얻고 풍부한 보고서 및 대시보드를 만들 수 있습니다. 수집 전 직접 수집 및 이벤트 처리의 두 가지 수집 모드 중에서 선택할 수 있습니다. |
| Lakehouse | 이 대상은 실시간 이벤트를 레이크하우스로 수집하기 전에 변환할 수 있는 기능을 제공합니다. 실시간 이벤트는 Delta Lake 형식으로 변환된 다음 지정된 레이크하우스 테이블에 저장됩니다. 이 대상은 데이터 웨어하우징 시나리오를 지원합니다. |
| Reflex | 이 대상을 사용하면 실시간 이벤트 데이터를 Reflex에 직접 연결할 수 있습니다. 리플렉스는 데이터에 연결하고, 조건을 모니터링하고, 조치를 수행하는 데 필요한 모든 정보를 포함하는 지능형 에이전트의 유형입니다. 데이터가 특정 임계값에 도달하거나 다른 패턴과 일치하면 Reflex는 사용자에게 경고하거나 Power Automate 워크플로를 시작 같은 적절한 작업을 자동으로 수행합니다. |
| 파생 스트림 | 파생 스트림은 이벤트 스트림에 필터 또는 관리 필드와 같은 스트림 작업을 추가한 후 만들 수 있는 특수한 유형의 대상입니다. 파생 스트림은 스트림 처리 후 변환된 기본 스트림을 나타냅니다. 파생 스트림을 패브릭의 여러 대상으로 라우팅하고 실시간 허브에서 파생 스트림을 볼 수 있습니다. |
이벤트 스트림에서 여러 대상을 연결하여 서로 간섭하지 않고 이벤트 스트림에서 동시에 데이터를 받을 수 있습니다.
참고 항목
용량 단위가 4개 이상인 Microsoft Fabric 이벤트 스트림 기능을 사용하는 것이 좋습니다(SKU: F4).
향상된 기능(미리 보기)
이벤트 스트림을 만드는 동안 향상된 기능(미리 보기) 옵션을 사용하도록 설정할 때 사용할 수 있는 더 많은 기능, 원본 및 대상이 있습니다. 향상된 기능(미리 보기) 및 표준 기능 탭을 사용하여 향상된 기능으로 지원되는 추가 원본 및 대상에 대해 알아봅니다.
다음은 향상된 기능(미리 보기)의 몇 가지 다른 주목할 만한 기능입니다.
- 편집 모드 및 라이브 보기. 스트림 처리를 시각화하고 디자인하기 위한 두 가지 고유한 모드를 살펴봅니다.
- 기본 및 파생 스트림입니다. 나중에 실시간 허브에서 사용할 수 있는 이벤트 프로세서를 사용하여 디자인한 형식으로 스트림의 연속 흐름을 만듭니다.
- 콘텐츠를 기반으로 하는 데이터 스트림 라우팅입니다. 이벤트 프로세서를 사용하여 디자인한 데이터 스트림 콘텐츠를 기반으로 패브릭 내 어디서나 데이터 스트림을 변환하고 라우팅합니다.
관련 콘텐츠
피드백
출시 예정: 2024년 내내 콘텐츠에 대한 피드백 메커니즘으로 GitHub 문제를 단계적으로 폐지하고 이를 새로운 피드백 시스템으로 바꿀 예정입니다. 자세한 내용은 다음을 참조하세요. https://aka.ms/ContentUserFeedback
다음에 대한 사용자 의견 제출 및 보기