Azure Stream Analytics의 코드 없는 스트림 처리

  • 아티클

코드 없는 편집기를 사용하면 한 줄의 코드를 작성하지 않고도 끌어서 놓기 기능을 사용하여 실시간 스트리밍 데이터를 처리하기 위해 쉽게 Stream Analytics 작업을 개발할 수 있습니다. 이 환경에서는 입력 원본에 연결하여 스트리밍 데이터를 빠르게 볼 수 있는 캔버스를 제공합니다. 그런 다음, 대상에 쓰기 전에 변환할 수 있습니다.

코드 없는 편집기를 사용하면 다음을 쉽게 수행할 수 있습니다.

  • 입력 스키마를 수정합니다.
  • 조인 및 필터와 같은 데이터 준비 작업을 수행합니다.
  • 그룹화 작업을 위한 시간 창 집계(텀블링, 호핑 및 세션 창)와 같은 고급 시나리오에 접근합니다.

Stream Analytics 작업이 만들어지고 실행되면 프로덕션 워크로드를 쉽게 운영할 수 있습니다. 모니터링 및 문제 해결을 위해 올바른 기본 제공 메트릭 세트를 사용합니다. 실행되고 있는 Stream Analytics 작업에 대한 요금은 가격 책정 모델에 따라 청구됩니다.

필수 조건

코드리스 편집기를 사용하여 Stream Analytics 작업을 개발하려면 먼저 다음 요구 사항을 충족해야 합니다.

  • Stream Analytics 작업에 대한 스트리밍 입력 원본 및 대상 리소스는 공개적으로 액세스할 수 있어야 하며 Azure 가상 네트워크에 있을 수 없습니다.
  • 스트리밍 입력 및 출력 리소스에 액세스하는 데 필요한 권한이 있어야 합니다.
  • Azure Stream Analytics 리소스를 만들고 수정할 수 있는 권한을 유지 관리해야 합니다.

참고 항목

코드 없는 편집기는 현재 중국 지역에서 사용할 수 없습니다.

Azure Stream Analytics 작업

Stream Analytics 작업은 스트리밍 입력, 변환 및 출력의 세 가지 주요 구성 요소를 기반으로 합니다. 여러 입력, 여러 변환이 있는 병렬 분기, 여러 출력 등 구성 요소를 원하는 만큼 포함할 수 있습니다. 자세한 내용은 Azure Stream Analytics 설명서를 참조하세요.

참고 항목

코드 없는 편집기를 사용할 때는 다음 기능 및 출력 형식을 사용할 수 없습니다.

  • 사용자 정의 함수.
  • Azure Stream Analytics 쿼리 블레이드에서 쿼리 편집 그러나 쿼리 블레이드에서는 코드 없는 편집기에서 생성된 쿼리를 볼 수 있습니다.
  • Azure Stream Analytics 입력/출력 블레이드에서 입력/출력 추가 그러나 입력/출력 블레이드에서는 코드 없는 편집기에서 생성된 입력/출력을 볼 수 있습니다.
  • 다음 출력 유형을 사용할 수 없습니다. Azure Function, ADLS Gen1, PostgreSQL DB, Service Bus 큐/토픽, Table Storage.

스트림 분석 작업을 빌드하기 위한 코드 없는 편집기 액세스에는 다음 두 가지 방법이 있습니다.

  1. Azure Stream Analytics 포털(미리 보기)을 통해: Stream Analytics 작업을 만든 다음 개요 페이지의 시작 탭에서 코드 없음 편집기를 선택하거나 왼쪽 패널에서 코드 없음 편집기를 선택합니다.

    Azure Stream Analytics 포털 위치에 코드 없음을 보여 주는 스크린샷

  2. Azure Event Hubs 포털을 통해: Event Hubs 인스턴스를 엽니다. 프로세스 데이터를 선택한 다음 미리 정의된 템플릿을 선택합니다.

    새 Stream Analytics 작업을 만들기 위한 선택을 보여 주는 스크린샷.

    미리 정의된 템플릿은 다음을 비롯한 다양한 시나리오를 해결하기 위해 작업을 개발하고 실행하는 데 도움이 될 수 있습니다.

다음 스크린샷에서는 완료된 Stream Analytics 작업을 보여줍니다. 작성할 때 사용할 수 있는 모든 섹션이 강조 표시됩니다.

작성 인터페이스 섹션을 보여 주는 스크린샷.

  1. 리본 메뉴에서 섹션은 클래식 분석 프로세스의 순서를 따릅니다. 즉, 이벤트 허브를 입력(데이터 원본이라고도 함), 변환(스트리밍 Etract, 변환 및 로드 작업), 출력, 진행률을 저장하는 단추 및 작업을 시작하는 단추입니다.
  2. 다이어그램 보기: 입력에서 작업, 출력에 이르기까지 Stream Analytics 작업을 그래픽으로 표현한 것입니다.
  3. 측면 창: 다이어그램 보기에서 선택한 구성 요소에 따라 입력, 변환 또는 출력을 수정하는 설정이 표시됩니다.
  4. 데이터 미리 보기, 작성 오류, 런타임 로그 및 메트릭에 대한 탭: 각 타일에 대해 데이터 미리 보기는 해당 단계에 대한 결과를 표시합니다(입력에 대한 라이브, 변환 및 출력에 대한 요청 시). 또한 이 섹션에서는 개발 중인 작업에서 발생할 수 있는 작성 오류 또는 경고가 요약됩니다. 각 오류 또는 경고를 선택하면 해당 변환이 선택됩니다. 또한 실행 중인 작업의 상태를 모니터링할 수 있는 작업 메트릭을 제공합니다.

스트리밍 데이터 입력

코드 없는 편집기에서는 다음 세 가지 유형의 리소스에서 스트리밍 데이터 입력을 지원합니다.

  • Azure Event Hubs
  • Azure IoT Hub
  • Azure Data Lake Storage Gen2

데이터 입력 스트리밍에 대한 자세한 내용은 Stream Analytics에 입력으로 데이터 스트리밍을 참조하세요.

참고 항목

Azure Event Hubs 포털의 코드 없는 편집기에는 입력 옵션으로 이벤트 허브만 있습니다.

스트리밍 입력 유형을 보여 주는 스크린샷.

스트리밍 입력으로서의 Azure Event Hubs

Azure Event Hubs는 빅 데이터 스트리밍 플랫폼 및 이벤트 수집 서비스입니다. 초당 수백만 개의 이벤트를 수신하고 처리할 수 있습니다. 이벤트 허브로 전송된 데이터는 실시간 분석 공급자 또는 일괄 처리/스토리지 어댑터를 통해 변환 및 저장될 수 있습니다.

이벤트 허브를 작업에 대한 입력으로 구성하려면 Event Hub 아이콘을 선택합니다. 다이어그램 보기에는 해당 구성 및 연결에 대한 사이드 창을 포함하여 타일이 표시됩니다.

코드 없는 편집기에서 이벤트 허브에 연결하는 경우 새 소비자 그룹을 만드는 것이 좋습니다(이는 기본 옵션임). 이 방식은 이벤트 허브가 동시 읽기 권한자 제한에 도달하는 것을 방지하는 데 도움이 됩니다. 소비자 그룹에 대한 자세한 내용과 기존 소비자 그룹을 선택해야 하는지 아니면 새 소비자 그룹을 만들어야 하는지 알아보려면 소비자 그룹을 참조하세요.

이벤트 허브가 기본 계층에 있는 경우 기존 $Default 소비자 그룹만 사용할 수 있습니다. 이벤트 허브가 표준 또는 프리미엄 계층에 있는 경우 새 소비자 그룹을 만들 수 있습니다.

이벤트 허브를 설정하는 동안 소비자 그룹 선택을 보여 주는 스크린샷.

이벤트 허브에 연결할 때 인증 모드로 관리 ID를 선택하면 Azure Event Hubs 데이터 소유자 역할이 Stream Analytics 작업에 대한 관리 ID에 부여됩니다. 이벤트 허브의 관리 ID에 대해 자세히 알아보려면 관리 ID를 사용하여 Azure Stream Analytics 작업에서 이벤트 허브에 액세스를 참조하세요.

관리 ID는 사용자 기반 인증 방법의 제한을 제거합니다. 이러한 제한 사항에 따라 90일마다 발생하는 암호 변경 또는 사용자 토큰 만료로 인해 재인증해야 하는 필요성이 생깁니다.

인증 방법으로 선택된 관리 ID를 보여 주는 스크린샷.

이벤트 허브의 세부 정보를 설정하고 연결을 선택한 후 필드 이름을 알고 있는 경우 + 필드 추가를 사용하여 수동으로 필드를 추가할 수 있습니다. 대신 들어오는 메시지의 샘플을 기반으로 필드 및 데이터 형식을 자동으로 검색하려면 자동 검색 필드를 선택합니다. 기어 기호를 선택하면 필요한 경우 자격 증명을 편집할 수 있습니다.

Stream Analytics 작업에서 필드를 검색하면 목록에 표시됩니다. 또한 다이어그램 보기 아래에 데이터 미리 보기 테이블에 들어오는 메시지의 라이브 미리 보기 가 표시됩니다.

입력 데이터 수정

각 필드 옆의 점 3개 기호를 선택하여 필드 이름을 편집하거나, 필드를 제거하거나, 데이터 형식을 변경하거나, 이벤트 시간을 변경할 수 있습니다(이벤트 시간으로 표시: 날짜/시간 형식 필드인 경우 TIMESTAMP BY 절). 다음 이미지와 같이 들어오는 메시지에서 중첩된 필드를 확장, 선택 및 편집할 수도 있습니다.

팁

이는 Azure IoT Hub 및 Azure Data Lake Storage Gen2의 입력 데이터에도 적용됩니다.

이벤트 허브의 필드를 추가, 제거 및 편집하기 위한 선택 항목을 보여 주는 스크린샷.

사용 가능한 데이터 형식은 다음과 같습니다.

  • DateTime: ISO 형식의 날짜 및 시간 필드.
  • Float: 10진수.
  • Int: 정수.
  • Record: 여러 레코드가 있는 중첩된 개체.
  • String: 텍스트.

스트리밍 입력으로서의 Azure IoT Hub

Azure IoT Hub는 클라우드에서 호스트되는 관리 서비스이며, IoT 애플리케이션과 연결된 디바이스 간의 통신을 위한 중앙 메시지 허브 역할을 합니다. IoT Hub로 전송된 IoT 디바이스 데이터를 Stream Analytics 작업에 대한 입력으로 사용할 수 있습니다.

참고 항목

Azure IoT Hub 입력은 Azure Stream Analytics 포털의 코드 없는 편집기에서 사용할 수 있습니다.

IoT Hub를 작업에 대한 스트리밍 입력으로 추가하려면 리본 메뉴의 입력에서 IoT 허브를 선택합니다. 그런 다음, 오른쪽 패널에 필요한 정보를 입력하여 IoT 허브를 작업에 연결합니다. 각 필드의 세부 정보에 대한 자세한 내용은 IoT 허브에서 Stream Analytics 작업으로 데이터 스트리밍을 참조하세요.

IoT 허브 구성을 보여 주는 스크린샷.

스트리밍 입력으로 Azure Data Lake Storage Gen2

Azure Data Lake Storage Gen2(ADLS Gen2)는 클라우드 기반 엔터프라이즈 데이터 레이크 솔루션입니다. 이 솔루션은 모든 형식으로 대량의 데이터를 저장하고 빅 데이터 분석 워크로드를 용이하게 하도록 설계되었습니다. ADLS Gen2에 저장된 데이터는 Stream Analytics에서 데이터 스트림으로 처리할 수 있습니다. 이러한 유형의 입력에 대한 자세한 내용은 ADLS Gen2에서 Stream Analytics 작업으로 데이터 스트리밍을 참조하세요.

참고 항목

Azure Data Lake Storage Gen2 입력은 Azure Stream Analytics 포털의 코드 없는 편집기에서 사용할 수 있습니다.

작업에 대한 스트리밍 입력으로 ADLS Gen2를 추가하려면 리본의 입력 아래에서 ADLS Gen2를 선택합니다. 그런 다음 오른쪽 패널에 필요한 정보를 입력하여 ADLS Gen2를 작업에 연결합니다. 각 필드의 세부 정보에 대한 자세한 내용은 ADLS Gen2에서 Stream Analytics 작업으로 데이터 스트리밍을 참조하세요.

Azure Data Lake Storage Gen2 입력 구성을 보여 주는 스크린샷

참조 데이터 입력

참조 데이터는 정적이거나 시간이 지남에 따라 천천히 변경됩니다. 일반적으로 들어오는 스트림을 보강하고 작업에서 조회를 수행하는 데 사용됩니다. 예를 들어, 정적 값을 조회하기 위해 SQL 조인을 수행하는 것처럼 데이터 스트림 입력을 참조 데이터에 조인할 수 있습니다. 참조 데이터 입력에 대한 자세한 내용은 Stream Analytics에서 조회에 대한 참조 데이터 사용을 참조하세요.

코드 없는 편집기는 이제 두 가지 참조 데이터 원본을 지원합니다.

  • Azure Data Lake Storage Gen2
  • Azure SQL Database

SQL Database 참조 입력 노드를 보여 주는 스크린샷.

참조 데이터로 Azure Data Lake Storage Gen2

참조 데이터는 Blob 이름에 지정된 날짜/시간 조합의 오름차순으로 Blob 시퀀스로 모델링됩니다. 시퀀스에서 마지막 Blob이 지정한 날짜/시간보다 큰 날짜/시간을 사용해야만 시퀀스 끝에 Blob을 추가할 수 있습니다. Blob은 입력 구성에 정의됩니다.

먼저 리본의 입력 섹션에서 Reference ADLS Gen2를 선택합니다. 각 필드에 대한 자세한 내용을 보려면 Stream Analytics에서 조회를 위한 참조 데이터 사용에서 Azure Blob Storage에 대한 섹션을 참조하세요.

Azure Data Lake Storage Gen2를 코드 없는 편집기의 입력으로 구성하기 위한 필드를 보여 주는 스크린샷.

그런 다음 JSON 배열 파일을 업로드합니다. 파일의 필드가 검색됩니다. 이 참조 데이터를 사용하여 Event Hubs의 스트리밍 입력 데이터로 변환을 수행합니다.

참조 데이터용 JSON 업로드 선택 항목을 보여 주는 스크린샷.

Azure SQL Database를 참조 데이터로

코드 없는 편집기에서 Stream Analytics 작업에 대한 참조 데이터로 Azure SQL Database를 사용할 수 있습니다. 자세한 내용은 Stream Analytics에서 조회를 위한 참조 데이터 사용에서 SQL Database에 대한 섹션을 참조하세요.

SQL Database를 참조 데이터 입력으로 구성하려면 리본의 입력 섹션에서 참조 SQL Database를 선택합니다. 그런 다음 정보를 입력하여 참조 데이터베이스를 연결하고 필요한 열이 있는 테이블을 선택합니다. SQL 쿼리를 수동으로 편집하여 테이블에서 참조 데이터를 가져올 수도 있습니다.

SQL Database 참조 입력 구성을 보여 주는 스크린샷.

변환

스트리밍 데이터 변환은 기본적으로 일괄 처리 데이터 변환과 다릅니다. 거의 모든 스트리밍 데이터에는 관련된 모든 데이터 준비 작업에 영향을 주는 시간 구성 요소가 있습니다.

스트리밍 데이터 변환을 작업에 추가하려면 해당 변환에 대한 리본의 작업 섹션에서 변환 기호를 선택합니다. 해당 타일이 다이어그램 보기에 표시됩니다. 이를 선택하면 해당 변환을 구성하기 위한 측면 창이 표시됩니다.

변환 작업을 보여 주는 스크린샷.

Filter

필터 변환을 사용하여 입력의 필드 값에 따라 이벤트를 필터링합니다. 변환은 데이터 형식(숫자 또는 텍스트)에 따라 선택한 조건과 일치하는 값을 유지합니다.

필터 만들기를 위한 선택 항목을 보여 주는 스크린샷.

참고 항목

모든 타일 내부에는 변환이 준비되기 위해 갖춰야 할 다른 항목에 대한 정보가 표시됩니다. 예를 들어, 새 타일을 추가할 때 설정 필요 메시지가 표시됩니다. 노드 커넥터가 없는 경우 오류 메시지 또는 경고 메시지가 표시됩니다.

필드 관리

필드 관리 변환을 사용하면 입력 또는 다른 변환에서 들어오는 필드를 추가, 제거하거나 이름을 바꿀 수 있습니다. 측면 창의 설정은 필드 추가를 선택하여 새 필드를 추가하거나 한 번에 모든 필드를 추가하는 옵션을 제공합니다.

필드 관리를 위한 선택 항목을 보여 주는 스크린샷.

기본 제공 함수로 새 필드를 추가하여 업스트림에서 데이터를 집계할 수도 있습니다. 현재 Microsoft에서 지원하는 기본 제공 함수는 문자열 함수, 날짜 및 시간 함수, 수학 함수의 일부 함수입니다. 이러한 함수의 정의에 대해 자세히 알아보려면 기본 제공 함수(Azure Stream Analytics)를 참조하세요.

기본 제공 함수를 보여 주는 스크린샷

팁

타일이 구성되면 다이어그램 보기에서 타일 내의 설정을 살펴볼 수 있습니다. 예를 들어 이전 이미지의 필드 관리 영역에서 관리되는 필드 처음 3개와 할당된 새 이름을 볼 수 있습니다. 각 타일에는 관련 정보가 있습니다.

집계

집계 변환을 사용하여 일정 기간 동안 새 이벤트가 발생할 때마다 집계(합계, 최솟값, 최댓값 또는 평균)를 계산할 수 있습니다. 또한 이 작업을 사용하면 데이터의 다른 차원에 따라 집계를 필터링 또는 슬라이싱할 수 있습니다. 동일한 변환에 하나 이상의 집계가 있을 수 있습니다.

집계를 추가하려면 변환 기호를 선택합니다. 그런 다음 입력을 연결하고, 집계를 선택하고, 필터 또는 조각 차원을 추가하고, 집계를 계산할 기간을 선택합니다. 이 예제에서는 지난 10초 동안 차량의 출신 주별로 통행료 값의 합계를 계산합니다.

집계 계산을 위한 선택 항목을 보여 주는 스크린샷.

동일한 변환에 다른 집계를 추가하려면 집계 함수 추가를 선택합니다. 필터 또는 조각은 변환의 모든 집계에 적용됩니다.

Join

조인 변환을 사용하여 선택한 필드 쌍에 따라 두 입력의 이벤트를 결합합니다. 필드 쌍을 선택하지 않으면 조인은 기본적으로 시간을 기반으로 합니다. 기본값은 이 변환을 일괄 처리 변환과 다르게 만드는 것입니다.

일반 조인과 마찬가지로 조인 논리에 대한 옵션이 있습니다.

  • 내부 조인: 쌍이 일치하는 두 테이블의 레코드만 포함합니다. 이 예제에서는 번호판이 두 입력 모두와 일치합니다.
  • 왼쪽 우선 외부 조인: 왼쪽(첫 번째) 테이블의 모든 레코드와 두 번째 테이블에서 필드 쌍과 일치하는 레코드만 포함합니다. 일치하는 항목이 없으면 두 번째 입력의 필드가 비어 있습니다.

조인 유형을 선택하려면 사이드 창에서 기본 설정 기호를 선택합니다.

마지막으로 조인을 계산하려는 기간을 선택합니다. 이 예제에서 조인은 지난 10초를 찾습니다. 기간이 길수록 출력 빈도가 줄어들고 더 많은 처리 리소스가 변환에 사용됩니다.

기본적으로 두 테이블의 모든 필드가 포함됩니다. 출력에서 왼쪽(첫 번째 노드)과 오른쪽(두 번째 노드) 접두사는 원본을 구분하는 데 도움이 됩니다.

조인 만들기를 위한 선택 항목을 보여 주는 스크린샷.

그룹 기준

그룹화 기준 변환을 사용하여 특정 시간 범위 내의 모든 이벤트에 대한 집계를 계산합니다. 하나 이상의 필드에 있는 값을 기준으로 그룹화할 수 있습니다. 집계 변환과 비슷하지만 더 많은 집계 옵션을 제공합니다. 또한 기간에 대한 더 복잡한 옵션도 포함합니다. 또한 집계와 마찬가지로 변환당 둘 이상의 집계를 추가할 수 있습니다.

변환에서 사용할 수 있는 집계는 다음과 같습니다.

  • 평균
  • Count
  • 최댓값
  • 최소
  • 백분위수(연속 및 불연속)
  • 표준 편차
  • Sum
  • Variance

변환을 구성하려면 다음을 수행합니다.

  1. 기본 설정 집계를 선택합니다.
  2. 집계할 필드를 선택합니다.
  3. 다른 차원 또는 범주에 대한 집계 계산을 가져오려면 선택적 그룹화 기준 필드를 선택합니다. 예를 들어 State입니다.
  4. 시간 창에 대한 함수를 선택합니다.

동일한 변환에 다른 집계를 추가하려면 집계 함수 추가를 선택합니다. 그룹화 기준 필드 및 기간 이동 함수는 변환의 모든 집계에 적용됩니다.

값으로 그룹화하는 옵션으로 집계를 계산하기 위한 선택 항목을 보여 주는 스크린샷.

기간 끝의 타임스탬프는 참조용 변환 출력의 일부로 나타납니다. Stream Analytics 작업이 지원하는 기간에 대한 자세한 내용은 기간 함수(Azure Stream Analytics)를 참조하세요.

Union

Union 변환을 사용하여 두 개 이상의 입력을 연결하여 공유 필드(동일한 이름 및 데이터 형식 포함)가 있는 이벤트를 하나의 테이블에 추가합니다. 일치하지 않는 필드는 삭제되고 출력에 포함되지 않습니다.

배열 확장

배열 확장 변환을 사용하여 배열 내의 각 값에 대한 새 행을 만듭니다.

배열 확장 옵션을 보여 주는 스크린샷.

스트리밍 출력

코드 없는 끌어서 놓기 환경은 현재 처리된 실시간 데이터를 저장하기 위해 여러 출력 싱크를 지원합니다.

스트리밍 출력 옵션을 보여 주는 스크린샷.

Azure Data Lake Storage Gen2

Data Lake Storage Gen2는 Azure에서 Azure Storage를 엔터프라이즈 데이터 레이크를 구축하기 위한 기반으로 만듭니다. 수백 기가비트의 처리량을 유지하는 동시에 여러 페타바이트의 정보를 처리하도록 설계되었습니다. 이렇게 하면 대량의 데이터를 쉽게 관리할 수 있습니다. Azure Blob Storage는 클라우드에서 대량의 비정형 데이터를 저장하기 위한 비용 효율적이고 확장성 있는 솔루션을 제공합니다.

리본의 출력 섹션에서 Stream Analytics 작업의 출력으로 ADLS Gen2를 선택합니다. 그런 다음 작업 출력을 보낼 컨테이너를 선택합니다. Stream Analytics 작업의 Azure Data Lake Gen2 출력에 대한 자세한 내용은 Azure Stream Analytics의 Blob 스토리지 및 Azure Data Lake Gen2 출력을 참조하세요.

Azure Data Lake Storage Gen2에 연결할 때 관리 ID를 인증 모드로 선택하면 Storage Blob 데이터 기여자 역할이 Stream Analytics 작업에 대한 관리 ID에 부여됩니다. Azure Data Lake Storage Gen2용 관리 ID에 대해 자세히 알아보려면 관리 ID를 사용하여 Azure Blob Storage에 대한 Azure Stream Analytics 작업 인증을 참조하세요.

관리 ID는 사용자 기반 인증 방법의 제한을 제거합니다. 이러한 제한 사항에 따라 90일마다 발생하는 암호 변경 또는 사용자 토큰 만료로 인해 재인증해야 하는 필요성이 생깁니다.

Azure Data Lake Storage Gen2의 인증 방법으로 관리 ID 선택을 보여 주는 스크린샷.

정확히 한 번 제공(미리 보기)은 코드 편집기 출력이 없으므로 ADLS Gen2에서 지원됩니다. ADLS Gen2 구성의 쓰기 모드 섹션에서 사용하도록 설정할 수 있습니다. 이 기능에 대한 자세한 내용은 Azure Data Lake Gen2에서 정확히 한 번 제공(미리 보기)을 참조하세요.

ADLS Gen2 출력에서 정확히 한 번 구성을 보여 주는 스크린샷.

Delta Lake 테이블에 쓰기(미리 보기)는 코드 편집기 출력 없이 ADLS Gen2에서 지원됩니다. ADLS Gen2 구성의 직렬화 섹션에서 이 옵션에 액세스할 수 있습니다. 이 기능에 대한 자세한 내용은 Delta Lake 테이블에 쓰기를 참조 하세요.

ADLS Gen2 출력의 델타 레이크 구성을 보여 주는 스크린샷

Azure Synapse Analytics

Azure Stream Analytics 작업은 Azure Synapse Analytics의 전용 SQL 풀 테이블로 출력을 보내고 초당 최대 200MB의 처리량 속도를 처리할 수 있습니다. Stream Analytics는 보고 및 대시보드와 같은 워크로드에 대한 가장 까다로운 실시간 분석 및 핫 경로 데이터 처리 요구 사항을 지원합니다.

Important

먼저 전용 SQL 풀 테이블이 있어야 이를 Stream Analytics 작업의 출력으로 추가할 수 있습니다. 테이블 스키마는 작업 출력의 필드 및 해당 형식과 일치해야 합니다.

리본의 출력 섹션에서 Stream Analytics 작업의 출력으로 Synapse를 선택합니다. 그런 다음 작업 출력을 보낼 SQL 풀 테이블을 선택합니다. Stream Analytics 작업의 Azure Synapse 출력에 대한 자세한 내용은 Azure Stream Analytics의 Azure Synapse Analytics 출력을 참조하세요.

Azure Cosmos DB

Azure Cosmos DB는 전 세계적으로 무제한의 탄력적 규모를 제공하는 전역적으로 분산 데이터베이스 서비스입니다. 또한 스키마에 구애받지 않는 데이터 모델에 대한 풍부한 쿼리 및 자동 인덱싱을 제공합니다.

리본의 출력 섹션에서 Stream Analytics 작업의 출력으로 CosmosDB를 선택합니다. Stream Analytics 작업의 Azure Cosmos DB 출력에 대한 자세한 내용은 Azure Stream Analytics의 Azure Cosmos DB 출력을 참조하세요.

Azure Cosmos DB에 연결할 때 인증 모드로 관리 ID를 선택하면 Stream Analytics 작업에 대한 관리 ID에 기여자 역할이 부여됩니다. Azure Cosmos DB용 관리 ID에 대해 자세히 알아보려면 관리 ID를 사용하여 Azure Stream Analytics 작업에서 Azure Cosmos DB에 액세스(미리 보기)를 참조하세요.

관리 ID 인증 방법은 위의 ADLS Gen2 출력과 동일한 이점이 있는 코드 없는 편집기의 Azure Cosmos DB 출력에서도 지원됩니다.

Azure SQL Database

Azure SQL Database는 Azure의 애플리케이션 및 솔루션을 위한 고가용성 및 고성능 데이터 스토리지 계층을 만드는 데 도움이 되는 완전 관리형 PaaS(Platform as a Service) 데이터베이스 엔진입니다. 코드 없는 편집기를 사용하여 처리된 데이터를 SQL Database의 기존 테이블에 쓰도록 Azure Stream Analytics 작업을 구성할 수 있습니다.

Azure SQL Database를 출력으로 구성하려면 리본의 출력 섹션에서 SQL Database를 선택합니다. 그런 다음 SQL 데이터베이스를 연결하는 데 필요한 정보를 입력하고 데이터를 쓸 테이블을 선택합니다.

Important

Stream Analytics 작업에 출력으로 추가하려면 먼저 Azure SQL Database 테이블이 있어야 합니다. 테이블 스키마는 작업 출력의 필드 및 해당 형식과 일치해야 합니다.

Stream Analytics 작업의 Azure SQL Database 출력에 대한 자세한 내용은 Azure Stream Analytics의 Azure SQL Database 출력을 참조하세요.

Event Hubs

실시간 데이터가 ASA로 들어오면 코드 없는 편집기에서 데이터를 변환하고 보강한 다음 다른 이벤트 허브에도 데이터를 출력할 수 있습니다. Azure Stream Analytics 작업을 구성할 때 Event Hubs 출력을 선택할 수 있습니다.

Event Hubs를 출력으로 구성하려면 리본의 출력 섹션에서 Event Hubs를 선택합니다. 그런 다음 데이터를 쓰려는 이벤트 허브를 연결하는 데 필요한 정보를 입력합니다.

Stream Analytics 작업의 Event Hubs 출력에 대한 자세한 내용은 Azure Stream Analytics의 Event Hubs 출력을 참조하세요.

Azure Data Explorer

Azure Data Explorer는 대량의 데이터를 쉽게 분석할 수 있는 완전 관리형 고성능 빅 데이터 분석 플랫폼입니다. 코드 없는 편집기도 사용하여 Azure Data Explorer를 Azure Stream Analytics 작업의 출력으로 사용할 수 있습니다.

Azure Data Explorer를 출력으로 구성하려면 리본의 출력 섹션에서 Azure Data Explorer를 선택합니다. 그런 다음 필요한 정보를 입력하여 Azure Data Explorer 데이터베이스를 연결하고 데이터를 쓰려는 테이블을 지정합니다.

Important

테이블은 선택한 데이터베이스에 있어야 하며 테이블의 스키마는 작업 출력의 필드 및 해당 형식과 정확히 일치해야 합니다.

Stream Analytics 작업의 Azure Data Explorer 출력에 대한 자세한 내용은 Azure Stream Analytics의 Azure Data Explorer 출력(미리 보기)을 참조하세요.

Power BI

Power BI는 데이터 분석 결과를 위한 포괄적인 시각화 환경을 제공합니다. Stream Analytics에 대한 Power BI 출력을 사용하면 처리된 스트리밍 데이터가 Power BI 스트리밍 데이터 세트에 기록된 다음 거의 실시간 Power BI 대시보드를 빌드하는 데 사용할 수 있습니다. 근 실시간 대시보드를 빌드하는 방법에 대한 자세한 내용은 Stream Analytics 코드 없는 편집기에서 생성된 Power BI 데이터 세트를 사용하여 실시간 대시보드 빌드를 참조하세요.

Power BI를 출력으로 구성하려면 리본 메뉴의 출력 섹션 아래에서 Power BI를 선택합니다. 그런 다음 필요한 정보를 입력하여 Power BI 작업 영역을 연결하고 데이터를 쓰려는 스트리밍 데이터 세트 및 테이블의 이름을 제공합니다. 각 필드의 세부 정보에 대한 자세한 내용은 Azure Stream Analytics의 Power BI 출력을 참조하세요.

데이터 미리 보기, 작성 오류, 런타임 로그 및 메트릭

코드리스 끌어서 놓기 환경은 스트리밍 데이터에 대한 분석 파이프라인의 성능을 작성, 문제 해결 및 평가하는 데 도움이 되는 도구를 제공합니다.

입력에 대한 라이브 데이터 미리 보기

입력 원본(예: 이벤트 허브)에 연결하고 다이어그램 보기(데이터 미리 보기 탭)에서 해당 타일을 선택하는 경우 다음 사항이 모두 충족되면 들어오는 데이터를 라이브로 미리 볼 수 있습니다.

  • 데이터가 푸시되고 있습니다.
  • 입력이 올바르게 구성되었습니다.
  • 필드가 추가되었습니다.

다음 스크린샷과 같이 특정 사항을 보거나 드릴다운하려는 경우 미리 보기(1)를 일시 중지할 수 있습니다. 또는 완료되면 다시 시작할 수 있습니다.

특정 레코드를 선택한 다음, 세부 정보 표시/숨기기를 선택하면 테이블의 셀인 해당 레코드의 세부 정보를 볼 수도 있습니다(2). 스크린샷은 레코드의 중첩된 개체에 대한 자세한 보기를 보여 줍니다.

스트리밍 미리 보기를 일시 중지하고 세부 정보를 표시하거나 숨길 수 있는 데이터 미리 보기 탭을 보여 주는 스크린샷.

변환 및 출력에 대한 정적 미리 보기

다이어그램 보기에서 단계가 추가되고 설정되면 정적 미리 보기 가져오기를 선택하여 동작을 테스트할 수 있습니다.

정적 미리 보기 단추를 보여 주는 스크린샷.

이렇게 하면 Stream Analytics 작업에서 모든 변환 및 출력을 평가하여 올바르게 구성되었는지 확인합니다. 그런 다음, Stream Analytics에서 다음 이미지와 같이 결과를 정적 데이터 미리 보기에 표시합니다.

정적 미리 보기를 새로 고침할 수 있는 데이터 미리 보기 탭을 보여 주는 스크린샷.

정적 미리 보기 새로 고침(1)을 선택하여 미리 보기를 새로 고칠 수 있습니다. 미리 보기가 새로 고쳐지면 Stream Analytics 작업에서 입력의 새 데이터를 가져와서 모든 변환을 평가합니다. 그런 다음 수행했을 수 있는 모든 업데이트와 함께 출력을 다시 보냅니다. 세부 정보 표시/숨기기 옵션도 사용할 수 있습니다(2).

작성 오류

작성 오류 또는 경고가 있는 경우 다음 스크린샷과 같이 작성 오류 탭에 나열됩니다. 목록에는 오류 또는 경고, 카드 유형(입력, 변환 또는 출력), 오류 수준, 오류 또는 경고에 대한 설명에 대한 세부 정보가 포함되어 있습니다.

제작 오류 예 목록을 보여 주는 스크린샷.

런타임 로그

런타임 로그는 작업이 실행 중일 때 경고, 오류 또는 정보 수준으로 나타납니다. 이러한 로그는 문제 해결을 위해 Stream Analytics 작업 토폴로지 또는 구성을 편집하려는 경우에 유용합니다. 디버깅을 위해 실행 중인 작업에 대한 더 많은 정보를 가져오려면 진단 로그를 켜고 설정의 Log Analytics 작업 영역으로 보내는 것이 좋습니다.

노코드 편집기에서 진단 로그 구성을 보여 주는 스크린샷.

다음 스크린샷 예에서 사용자는 작업 출력의 필드와 일치하지 않는 테이블 스키마로 SQL Database 출력을 구성했습니다.

런타임 오류 탭을 보여 주는 스크린샷.

메트릭

작업이 실행 중인 경우 메트릭 탭에서 작업 상태를 모니터링할 수 있습니다. 기본적으로 표시되는 네 가지 메트릭은 워터마크 지연, 입력 이벤트, 백로그된 입력 이벤트 및 출력 이벤트입니다. 이러한 메트릭을 사용하여 이벤트가 입력 백로그 없이 작업에 들어오고 나가는지 이해할 수 있습니다.

노코드 편집기에서 만들어진 작업의 메트릭을 보여 주는 스크린샷.

목록에서 더 많은 메트릭을 선택할 수 있습니다. 모든 메트릭을 자세히 이해하려면 Azure Stream Analytics 작업 메트릭을 참조하세요.

Stream Analytics 작업 시작

작업을 만드는 동안 언제든지 작업을 저장할 수 있습니다. 작업에 대한 스트리밍 입력, 변환 및 스트리밍 출력을 구성한 후 작업을 시작할 수 있습니다.

참고 항목

Azure Stream Analtyics 포털의 코드 없는 편집기는 미리 보기 상태이지만 Azure Stream Analytics 서비스는 일반 공급됩니다.

저장 및 시작 단추를 보여 주는 스크린샷.

다음 옵션을 구성할 수 있습니다.

  • 출력 시작 시간: 작업을 시작할 때 작업에서 출력 만들기를 시작하는 시간을 선택합니다.
    • 지금: 이 옵션은 출력 이벤트 스트림의 시작 지점을 작업이 시작될 때와 동일하게 만듭니다.
    • 사용자 지정: 출력의 시작 지점을 선택할 수 있습니다.
    • 마지막으로 중지된 시간: 이 옵션은 작업이 이전에 시작되었지만 수동으로 중지되었거나 실패한 경우에 사용할 수 있습니다. 이 옵션을 선택하면 마지막 출력 시간이 작업을 다시 시작하는 데 사용되므로 데이터가 손실되지 않습니다.
  • 스트리밍 단위: SU(스트리밍 단위)는 실행 중인 작업에 할당된 컴퓨팅 및 메모리의 양을 나타냅니다. 선택할 SU의 수가 확실하지 않은 경우 3개부터 시작하여 필요에 따라 조정하는 것이 좋습니다.
  • 출력 데이터 오류 처리: 출력 데이터 오류 처리 정책은 Stream Analytics 작업에서 생성된 출력 이벤트가 대상 싱크의 스키마를 준수하지 않는 경우에만 적용됩니다. 다시 시도 또는 삭제를 선택하여 정책을 구성할 수 있습니다. 자세한 내용은 Azure Stream Analytics 출력 오류 정책을 참조하세요.
  • 시작: 이 단추는 Stream Analytics 작업을 시작합니다.

Stream Analytics 작업 구성을 검토하고 작업을 시작하기 위한 대화 상자를 보여 주는 스크린샷.

Azure Event Hubs 포털의 Stream Analytics 작업 목록

Azure Event Hubs 포털에서 코드 없는 끌어서 놓기 환경을 사용하여 만든 모든 Stream Analytics 작업 목록을 보려면 데이터 처리>Stream Analytics 작업을 선택합니다.

작업 상태를 검토하는 Stream Analytics 작업 목록을 보여 주는 스크린샷.

다음은 Stream Analytics 작업 탭의 요소입니다.

  • 필터: 작업 이름을 기준으로 목록을 필터링할 수 있습니다.
  • 새로 고침: 현재 목록이 자동으로 새로 고침되지 않습니다. 새로 고침 단추를 사용하여 목록을 새로 고침하고 최신 상태를 확인합니다.
  • 작업 이름: 이 영역의 이름은 작업 만들기의 첫 번째 단계에서 제공한 이름입니다. 이는 편집할 수 없습니다. 작업 이름을 선택하여 작업을 중지하고, 편집하고, 다시 시작할 수 있는 코드리스 끌어서 놓기 환경에서 작업을 엽니다.
  • 상태: 이 영역에는 작업의 상태가 표시됩니다. 목록 위쪽에서 새로 고침을 선택하여 최신 상태를 확인합니다.
  • 스트리밍 단위: 이 영역에는 작업을 시작할 때 선택한 스트리밍 단위 수가 표시됩니다.
  • 출력 워터마크: 이 영역은 작업이 생성한 데이터의 활성 지표를 제공합니다. 타임스탬프 이전의 모든 이벤트는 이미 컴퓨팅되었습니다.
  • 작업 모니터링: 메트릭 열기를 선택하여 이 Stream Analytics 작업과 관련된 메트릭을 확인합니다. Stream Analytics 작업을 모니터링하는 데 사용할 수 있는 메트릭에 대한 자세한 내용은 Azure Stream Analytics 작업 메트릭을 참조하세요.
  • 작업: 작업을 시작, 중지 또는 삭제합니다.

다음 단계

코드리스 편집기에서 미리 정의된 템플릿을 사용하여 일반적인 시나리오를 처리하는 방법을 알아봅니다.