Stream Analytics 코드리스 편집기를 사용하여 Azure Data Explorer로 필터링 및 수집

아티클
02/13/2024

이 문서에서는 코드리스 편집기를 사용하여 Stream Analytics 작업을 쉽게 만드는 방법을 설명합니다. Event Hubs에서 지속적으로 읽고, 들어오는 데이터를 필터링한 다음, 결과를 Azure Data Explorer에 지속적으로 씁니다.

필수 조건

Azure Event Hubs 및 Azure Data Explorer 리소스는 공개적으로 액세스할 수 있어야 하며 방화벽 뒤에 있거나 Azure Virtual Network에서 보호될 수 없습니다.
Event Hubs의 데이터는 JSON, CSV 또는 Avro 형식으로 직렬화되어야 합니다.

실시간 데이터를 필터링하고 수집하는 Stream Analytics 작업 개발

Azure Portal에서 Azure Event Hubs 인스턴스를 찾고 선택합니다.
기능>데이터 처리를 선택한 다음, Azure Data Explorer에 데이터 저장 카드에서 시작을 선택합니다.
Stream Analytics 작업의 이름을 입력한 다음, 만들기를 선택합니다.
Event Hubs 창에서 데이터의 Serialization 형식 및 작업이 Event Hubs에 연결하는 데 사용할 인증 방법을 지정합니다. 그런 다음 연결을 선택합니다.
연결이 성공적으로 설정되고 Event Hubs 인스턴스로 이동하는 데이터 스트림이 있는 경우 다음 두 항목이 즉시 표시됩니다.
- 입력 데이터에 나타나는 필드입니다. 필드 추가를 선택하거나 필드 옆에 있는 세 개의 점 기호를 선택하여 해당 형식을 제거, 이름 바꾸기 또는 변경할 수 있습니다.
- 다이어그램 뷰 아래 데이터 미리 보기 테이블에 있는 들어오는 데이터의 라이브 샘플. 주기적으로 자동으로 새로 고쳐집니다. 스트리밍 미리 보기 일시 중지를 선택하여 샘플 입력 데이터의 정적 뷰를 볼 수 있습니다.
필터 타일을 선택하여 데이터를 집계합니다. 필터 영역에서 필드를 선택하여 조건을 통해 들어오는 데이터를 필터링합니다.
관리 타일을 선택합니다. 필드 관리 구성 패널에서 이벤트 허브에 출력할 필드를 선택합니다. 모든 필드를 추가하려면 모든 필드 추가를 선택합니다.
Azure Data Explorer 타일을 선택합니다. 구성 패널에서 필요한 매개 변수를 입력하고 연결합니다.

참고 항목

테이블은 선택한 데이터베이스에 있어야 하며 테이블 스키마는 데이터 미리 보기에서 생성하는 필드 수 및 해당 형식과 정확히 일치해야 합니다.
필요에 따라 정적 미리 보기 가져오기/정적 미리 보기 새로 고침을 선택하여 이벤트 허브에서 수집할 데이터 미리 보기를 확인합니다.
저장을 선택한 다음, Stream Analytics 작업 시작을 선택합니다.
작업을 시작하려면 다음을 지정합니다.
- 작업 실행에 사용되는 SU(스트리밍 단위) 수. SU는 작업에 할당된 컴퓨팅 및 메모리의 양을 나타냅니다. 세 개로 시작한 다음, 필요에 따라 조정하는 것이 좋습니다.
- 출력 데이터 오류 처리 – 데이터 오류로 인해 대상에 대한 작업 출력이 실패할 때 원하는 동작을 지정할 수 있습니다. 기본적으로 작업은 쓰기 작업이 성공할 때까지 다시 시도합니다. 해당 출력 이벤트를 삭제하도록 선택할 수도 있습니다.
시작을 선택하면 작업이 2분 이내에 실행되고 메트릭이 아래의 탭 섹션에서 열립니다.

Stream Analytics 작업 탭의 데이터 처리 섹션 아래에서 작업을 볼 수 있습니다. 메트릭 열기를 선택하여 필요에 따라 모니터링하거나 메트릭을 중지했다 다시 시작합니다.