다음을 통해 공유

실시간 이벤트를 수집, 필터링 및 변환하고 Microsoft Fabric 레이크하우스로 보냅니다.

  • 아티클

이 자습서에서는 Microsoft Fabric 이벤트 스트림 기능을 사용하여 실시간 이벤트를 수집, 필터링 및 변환하고 Azure 이벤트 허브에서 Lakehouse로 Delta Lake 형식으로 보내는 방법을 보여 줍니다. 또한 이벤트 데이터에서 비즈니스 인사이트를 시각화하는 Power BI 보고서를 작성하는 방법도 알아봅니다.

이 자습서에서는 다음을 하는 방법을 알아볼 수 있습니다.

  • Microsoft Fabric에서 Eventstream 및 Lakehouse 항목 만들기
  • Eventstream에 Azure Event Hubs 원본 추가
  • 이벤트 허브 클라우드 연결 만들기
  • 이벤트 스트림에 Lakehouse 대상 추가
  • 이벤트 프로세서를 사용하여 실시간 이벤트 처리 논리 정의
  • Lakehouse에서 데이터 확인
  • Lakehouse에서 수집된 이벤트 데이터를 사용하여 Power BI 보고서 빌드

필수 조건

시작하기 전에 다음이 있어야 합니다.

  • Eventstream 및 Lakehouse 항목이 있는 기여자 이상의 권한이 있는 프리미엄 작업 영역에액세스합니다.
  • 이벤트 데이터와 정책 키에 액세스할 수 있는 적절한 권한이 있는 Azure 이벤트 허브입니다. 이벤트 허브는 공개적으로 액세스할 수 있어야 하며 방화벽 뒤에 있거나 가상 네트워크에서 보호되지 않아야 합니다. 이벤트 허브를 만들려면 빠른 시작: Azure Portal을 사용하여 이벤트 허브 만들기를 참조하세요.

레이크하우스 및 이벤트 스트림 만들기

작업 영역 페이지 또는 허브 만들기 페이지에서 이벤트 스트림 및 레이크하우스를 만들 수 있습니다. 다음 단계에 따라 레이크하우스를 만든 다음 다시 이벤트 스트림을 만듭니다.

  1. 패브릭 환경을 실시간 인텔리전스로 변경하고, Lakehouse 또는 Eventstream을 선택하여 작업 영역 또는 허브 만들기에서 이러한 항목을 만듭니다. 최상의 결과를 위해 먼저 Lakehouse 항목을 만들고 Eventstream 항목을 두 번째로 만듭니다.

    • 작업 영역 화면에서 새로 만들기를 선택한 다음, Lakehouse 또는 Eventstream을 선택합니다.

      작업 영역 새로 만들기 메뉴에서 Eventstream 및 Lakehouse를 선택할 위치를 보여 주는 스크린샷

    • 허브 만들기에서 Lakehouse 또는 Eventstream을 선택합니다.

      허브 만들기에서 Eventstream 타일을 선택할 위치를 보여 주는 스크린샷

      허브 만들기에서 Lakehouse 타일을 선택할 위치를 보여 주는 스크린샷

  2. 새 이벤트 스트림 또는 레이크하우스의 이름을 입력하고 만들기를 선택합니다. 이 문서의 예제에서는 eventstream에 citypwr-es를 사용하고 lakehouse의 경우 citypwrdata를 사용합니다.

    새 Eventstream 대화 상자에서 이름을 입력할 위치를 보여 주는 스크린샷

새 eventstream과 lakehouse를 모두 성공적으로 만든 후 작업 영역에 다음 항목이 표시됩니다.

  • citypwr-es: Eventstream 항목

  • citypwrdata: Lakehouse 항목, 의미 체계 모델(기본값) 항목 및 SQL 엔드포인트 항목입니다.

    작업 영역에 추가된 네 개의 항목 목록을 보여 주는 스크린샷

Eventstream에 Azure Event Hubs 원본 추가

Lakehouse 및 eventstream을 만든 후 다음 단계에 따라 Azure 이벤트 허브를 이벤트 스트림 원본으로 추가합니다.

  1. 리본에서 새 원본을 선택하거나 기본 편집기 캔버스에서 "+"를 선택한 다음, Azure Event Hubs를 선택합니다.

  2. 새 원본의 원본 이름을 입력하고 Azure 이벤트 허브에 대한 새 연결 만들기를 선택합니다.

    Azure Event Hubs 원본 구성 화면에서 새 연결 만들기를 선택할 위치를 보여 주는 스크린샷

  3. 새 연결 페이지에서 Azure 이벤트 허브에 대한 정보를 입력합니다.

    이벤트 허브 원본의 클라우드 연결을 보여 주는 스크린샷

    • 이벤트 허브 네임스페이스: Azure 이벤트 허브 네임스페이스의 이름을 입력합니다.

    • 이벤트 허브: Azure Portal에서 Azure 이벤트 허브의 이름을 입력합니다.

    • 커넥트ion 이름: 클라우드 연결의 이름을 입력합니다.

    • 공유 액세스 키 이름 및 공유 액세스 키: Azure 이벤트 허브로 이동하여 공유 액세스 정책에 따라 또는 Listen 사용 권한이 있는 Manage 정책을 만듭니다. 그런 다음, 정책 이름 및 기본 키를 공유 액세스 키 이름 및 공유 액세스 키로 사용합니다.

      Azure 이벤트 허브에 대한 인증 정보를 선택하고 입력할 위치를 보여 주는 스크린샷

  4. Azure 이벤트 허브에서 이벤트 데이터를 읽는 소비자 그룹을 선택한 다음 추가합니다.

  5. Azure 이벤트 허브에서 가져올 들어오는 실시간 이벤트의 데이터 형식을 선택합니다.

  6. 이벤트 허브 원본을 성공적으로 만든 후 캔버스에 새 원본 노드가 나타납니다. 캔버스에서 이벤트 허브 노드를 선택한 다음 , 아래쪽 창의 데이터 미리 보기 탭을 선택하여 이벤트 허브 내의 데이터를 봅니다.

    이벤트 허브 원본 미리 보기를 보여 주는 스크린샷.

  7. 캔버스에서 eventstream 노드를 선택한 다음 , 아래쪽 창의 데이터 미리 보기 탭을 선택하여 Eventstream 내의 데이터를 봅니다.

    이벤트 스트림 노드의 데이터 미리 보기 탭을 보여 주는 스크린샷.

  8. 데이터 인사이트 세부 정보를 찾으려면 이벤트 허브 원본 노드 및 이벤트 스트림 노드에 대한 데이터 인사이트 탭을 선택합니다.

이벤트 스트림에 레이크하우스 대상 추가

eventstream이 이벤트 허브 이벤트를 수집한 후 이벤트 스트림에서 이벤트를 수신하는 레이크하우스 대상을 추가할 수 있습니다. 다음 단계에 따라 레이크하우스 대상을 추가합니다.

  1. 리본에서 새 대상을 선택하거나 기본 편집기 캔버스에서 "+"를 선택한 다음, Lakehouse를 선택합니다.

  2. 이벤트 스트림 대상의 이름을 입력하고 Lakehouse에 대한 정보를 입력합니다.

    Lakehouse 대상 구성 화면을 보여 주는 스크린샷

    1. Lakehouse: 지정한 작업 영역에서 기존 레이크하우스 항목을 선택합니다. 예제에서 새로 만든 lakehouse citypwrdata 를 선택했습니다.
    2. 델타 테이블: 기존 델타 테이블을 선택하거나 데이터를 받을 새 델타 테이블을 만듭니다. 이 예제에서는 새 델타 테이블 citypwrtbl을 선택했습니다.
    3. 입력 데이터 형식: 데이터의 형식을 선택합니다.

  3. 레이크하우스에 수집하는 동안 이벤트를 처리하지 않으려면 추가를 선택하여 레이크하우스 대상의 구성을 완료합니다. 이벤트를 처리하려면 다음 섹션으로 건너뜁니다.

  4. 캔버스에 회전하는 상태 표시기가 있는 Lakehouse 대상 노드가 나타납니다. 시스템에서 상태 수집으로 변경하는 데 몇 분 정도 걸립니다.

    두 레이크하우스 대상 상태 표시기를 찾을 위치를 보여 주는 스크린샷

  5. 대상 상태 수집으로 변경된 후 아래쪽 창에서 데이터 미리 보기 탭을 선택하여 이벤트 데이터가 레이크하우스에 올바르게 수집되었는지 확인합니다.

    Lakehouse 대상 미리 보기 탭을 보여 주는 스크린샷.

이벤트 프로세서를 사용하여 실시간 이벤트 처리 논리 정의

이 섹션에서는 이전 섹션에서 레이크하우스 대상을 추가하는 프로세스를 시작한 후 이벤트 프로세서 편집기를 사용하여 이벤트 처리 논리를 정의합니다. 이 예제에서는 센서 ID 데이터를 Lakehouse에 저장하지 않기 때문에 이벤트 프로세서를 사용하여 열을 제거합니다.

  1. 완료된 Lakehouse 대상 화면에서(아직 추가 선택 안 함) 이벤트 프로세서 열기를 선택합니다. 이벤트 처리 편집기 화면이 열립니다.

    이벤트 처리 편집기 화면을 보여 주는 스크린샷.

  2. 이벤트 처리 논리를 추가하려면 리본에서 작업 메뉴를 선택한 다음, 필드 관리를 선택합니다.

    작업 메뉴에서 필드 관리를 선택할 위치를 보여 주는 스크린샷

  3. 연결선을 마우스로 가리킨 다음 "+" 단추를 선택합니다. 연결선에 드롭다운 메뉴가 나타나고 그 사이에 필드 관리 연산자를 삽입할 수 있습니다.

    eventstream과 lakehouse 간의 운영자 연결을 선택하고 삭제할 위치를 보여 주는 스크린샷.

  4. 필드 관리 연산자 노드를 선택합니다. 필드 관리 구성 패널에서 모든 필드 추가를 선택합니다. 그런 다음 센서 열 위로 마우스를 가져가서 ...를 선택하고 제거하여 열을 제거합니다.

    필드 관리 연산자 구성을 보여 주는 스크린샷

  5. 필드 관리 연산자를 구성한 후 정적 미리 보기 새로 고침을 클릭하여 이 연산자가 생성하는 데이터를 미리 봅니다.

    필드 관리 연산자에 대해 새로 고친 데이터 미리 보기를 보여 주는 스크린샷

  6. 완료를 선택하여 이벤트 처리 논리를 저장하고 Lakehouse 대상 구성 화면으로 돌아갑니다.

  7. 추가를 선택하여 레이크하우스 대상의 구성을 완료합니다.

  8. 캔버스에 회전하는 상태 표시기가 있는 Lakehouse 대상 노드가 나타납니다. 시스템에서 상태 수집으로 변경하는 데 몇 분 정도 걸립니다.

    레이크하우스 대상 상태 표시기를 보여 주는 스크린샷

  9. 대상 상태 수집으로 변경된 후 아래쪽 창에서 데이터 미리 보기 탭을 선택하여 이벤트 데이터가 레이크하우스에 올바르게 수집되었는지 확인합니다.

    레이크하우스 대상 미리 보기를 보여 주는 스크린샷.

레이크하우스에서 데이터 확인

새 레이크하우스에서 이벤트 데이터를 확인하려면 작업 영역에서 citypwrdata Lakehouse를 연 다음 citypwrtbl 테이블을 선택하여 해당 데이터를 봅니다.

Lakehouse 데이터 테이블의 예를 보여 주는 스크린샷

수집된 이벤트 데이터를 사용하여 Power BI 보고서 빌드

  1. 작업 영역으로 이동하여 새 citypwrdata Lakehouse를 만들 때 시스템이 자동으로 추가한 citypwrdata 의미 체계 모델을 선택합니다.

  2. 리본 메뉴의 보고서 만들기 메뉴에서 자동 만들기 또는 처음부터 시작을 선택합니다.

    보고서 만들기 메뉴에서 선택할 위치를 보여 주는 스크린샷

  3. 이러한 데이터를 모니터링할 수 있도록 온도, 습도, WindSpeed 및 세 영역의 전력 소비량을 선택하여 보고서를 조정합니다.

    자동 생성된 보고서를 보여 주는 스크린샷

  4. 데이터를 자동으로 새로 고치려면 자동 생성된 보고서에서 편집 단추를 선택합니다. 그런 다음 시각화에서 서식 페이지로 이동하고 페이지 새로 고침을 선택하여 새로 고침 간격을 설정합니다.

    참고 항목

    • 관리 간격은 최소 새로 고침 간격을 제어합니다.
    • 레이크하우스에 이벤트 데이터를 쓰는 현재 간격은 2분입니다.

    자동 새로 고침을 사용하도록 설정하는 방법을 보여 주는 스크린샷

  5. 보고서 조정이 완료되면 저장 단추를 선택하고 이름을 입력하여 저장합니다.

    마지막으로 편집한 보고서를 보여 주는 스크린샷.

관련 콘텐츠

이 자습서에서는 실시간 이벤트를 수집, 필터링 및 변환하고 Azure 이벤트 허브에서 Delta Lake 형식의 레이크하우스로 보내는 방법을 알아보았습니다. 또한 Lakehouse를 사용하여 Power BI 보고서를 작성하여 이벤트 데이터의 비즈니스 인사이트를 시각화하는 방법을 알아보았습니다. 패브릭 이벤트 스트림 기능을 사용하기 위한 고급 기능을 검색하려는 경우 다음 리소스가 유용할 수 있습니다.