Azure Portal를 사용 하 여 Azure 데이터 탐색기 클러스터에서 스트리밍 수집 구성Configure streaming ingestion on your Azure Data Explorer cluster using the Azure portal

수집 및 쿼리 사이에 짧은 대기 시간이 필요한 경우 스트리밍 수집을 사용 하 여 데이터를 로드 합니다.Use streaming ingestion to load data when you need low latency between ingestion and query. 스트리밍 수집 작업은 10 초 이내에 완료 되며, 완료 된 후에는 데이터를 쿼리에 즉시 사용할 수 있습니다.The streaming ingestion operation completes in under 10 seconds, and your data is immediately available for query after completion. 이 수집 방법은 수천 개의 테이블에 분산 된 초당 수천 개의 레코드와 같이 많은 양의 데이터를 수집 하는 데 적합 합니다.This ingestion method is suitable for ingesting a high volume of data, such as thousands of records per second, spread over thousands of tables. 각 테이블은 초당 몇 개의 레코드와 같이 비교적 적은 양의 데이터를 받습니다.Each table receives a relatively low volume of data, such as a few records per second.

데이터 수집 크기가 테이블당 4gb를 초과 하는 경우 스트리밍 수집 대신 대량 수집을 사용 합니다.Use bulk ingestion instead of streaming ingestion when the amount of data ingested exceeds 4 GB per hour per table.

다른 수집 방법에 대해 자세히 알아보려면 데이터 수집 개요를 참조 하세요.To learn more about different ingestion methods, see data ingestion overview.

필수 구성 요소Prerequisites

클러스터에서 스트리밍 수집 사용Enable streaming ingestion on your cluster

Azure Portal에서 새 클러스터를 만드는 동안 스트리밍 수집을 사용 하도록 설정Enable streaming ingestion while creating a new cluster in the Azure portal

새 Azure 데이터 탐색기 클러스터를 만드는 동안 스트리밍 수집을 사용 하도록 설정할 수 있습니다.You can enable streaming ingestion while creating a new Azure Data Explorer cluster.

구성 탭에서 스트리밍수집 > 켜기를 선택 합니다.In the Configurations tab, select Streaming ingestion > On.

Azure 데이터 탐색기에서 클러스터를 만드는 동안 스트리밍 수집 사용

Azure Portal에서 기존 클러스터에 대 한 스트리밍 수집 사용Enable streaming ingestion on an existing cluster in the Azure portal

  1. Azure Portal에서 Azure Data Explorer 클러스터로 이동합니다.In the Azure portal, go to your Azure Data Explorer cluster.

  2. 설정에서 구성을 선택 합니다.In Settings, select Configurations.

  3. 구성 창에서 켜기 를 선택 하 여 스트리밍수집을 사용 하도록 설정 합니다.In the Configurations pane, select On to enable Streaming ingestion.

  4. 저장을 선택합니다.Select Save.

    Azure 데이터 탐색기에서 스트리밍 수집 켜기

경고

스트리밍 수집을 사용 하도록 설정 하기 전에 제한 사항을 검토 합니다.Review the limitations prior to enabling steaming ingestion.

대상 테이블을 만들고 Azure Portal에서 정책을 정의 합니다.Create a target table and define the policy in the Azure portal

  1. Azure Portal에서 클러스터로 이동 합니다.In the Azure portal, navigate to your cluster.

  2. 쿼리를 선택합니다.Select Query.

    Azure 데이터 탐색기 포털에서 쿼리를 선택 하 여 스트리밍 수집을 사용 하도록 설정 합니다.

  3. 스트리밍 수집을 통해 데이터를 수신 하는 테이블을 만들려면 쿼리 창 에 다음 명령을 복사 하 고 실행을 선택 합니다.To create the table that will receive the data via streaming ingestion, copy the following command into the Query pane and select Run.

    .create table TestTable (TimeStamp: datetime, Name: string, Metric: int, Source:string)
    

    Azure 데이터 탐색기에 수집을 스트리밍하는 테이블 만들기

  4. 만든 테이블이 나이 테이블이 포함 된 데이터베이스에 대 한 스트리밍 수집 정책을 정의 합니다.Define the streaming ingestion policy on the table you've created or on the database that contains this table.

    데이터베이스 수준에서 정의 된 정책은 데이터베이스의 모든 기존 및 미래의 테이블에 적용 됩니다.A policy that is defined at the database level applies to all existing and future tables in the database.

  5. 다음 명령 중 하나를 쿼리 창 에 복사 하 고 실행을 선택 합니다.Copy one of the following commands into the Query pane and select Run.

    .alter table TestTable policy streamingingestion enable
    

    또는or

    .alter database StreamingTestDb policy streamingingestion enable
    

    Azure 데이터 탐색기에서 스트리밍 수집 정책 정의

스트리밍 수집을 사용 하 여 데이터를 클러스터로 수집 합니다.Use streaming ingestion to ingest data to your cluster

두 개의 스트리밍 수집 형식이 지원 됩니다.Two streaming ingestion types are supported:

적절 한 스트리밍 수집 유형 선택Choose the appropriate streaming ingestion type

조건과Criterion 이벤트 허브Event Hub 사용자 지정 수집Custom Ingestion
수집 시작 및 쿼리에 사용할 수 있는 데이터 간의 데이터 지연Data delay between ingestion initiation and the data available for query 지연 시간 초과Longer delay 짧은 지연Shorter delay
개발 오버 헤드Development overhead 빠르고 쉬운 설치, 개발 오버 헤드 없음Fast and easy setup, no development overhead 응용 프로그램에서 오류를 처리 하 고 데이터 일관성을 유지 하기 위한 높은 개발 오버 헤드High development overhead for application to handle errors and ensure data consistency

클러스터에서 스트리밍 수집 사용 안 함Disable streaming ingestion on your cluster

경고

스트리밍 수집을 사용 하지 않도록 설정 하는 데 몇 시간이 걸릴 수 있습니다.Disabling streaming ingestion may take a few hours.

Azure 데이터 탐색기 클러스터에서 스트리밍 수집을 사용 하지 않도록 설정 하기 전에 모든 관련 테이블 및 데이터베이스에서 스트리밍 수집 정책을 삭제 합니다.Before disabling streaming ingestion on your Azure Data Explorer cluster, drop the streaming ingestion policy from all relevant tables and databases. 스트리밍 수집 정책을 제거 하면 Azure 데이터 탐색기 클러스터 내에서 재배치 되는 데이터가 트리거됩니다.The removal of the streaming ingestion policy triggers data rearrangement inside your Azure Data Explorer cluster. 스트리밍 수집 데이터는 초기 저장소에서 열 저장소 (익스텐트 또는 분할)의 영구 저장소로 이동 됩니다.The streaming ingestion data is moved from the initial storage to permanent storage in the column store (extents or shards). 이 프로세스는 초기 저장소에 있는 데이터의 양에 따라 몇 초에서 몇 시간이 걸릴 수 있습니다.This process can take between a few seconds to a few hours, depending on the amount of data in the initial storage.

Azure Portal에서 스트리밍 수집 정책을 삭제 합니다.Drop the streaming ingestion policy in the Azure portal

  1. Azure Portal에서 Azure 데이터 탐색기 클러스터로 이동 하 고 쿼리를 선택 합니다.In the Azure portal, go to your Azure Data Explorer cluster and select Query.

  2. 테이블에서 스트리밍 수집 정책을 삭제 하려면 다음 명령을 쿼리 창 에 복사 하 고 실행을 선택 합니다.To drop the streaming ingestion policy from the table, copy the following command into Query pane and select Run.

    .delete table TestTable policy streamingingestion 
    

    Azure 데이터 탐색기에서 스트리밍 수집 정책 삭제

  3. 설정에서 구성을 선택 합니다.In Settings, select Configurations.

  4. 구성 창에서 끄기 를 선택 하 여 스트리밍수집을 사용 하지 않도록 설정 합니다.In the Configurations pane, select Off to disable Streaming ingestion.

  5. 저장을 선택합니다.Select Save.

    Azure 데이터 탐색기에서 스트리밍 수집 해제

제한 사항Limitations

  • 데이터베이스 자체 또는 해당 테이블에 스트리밍 수집 정책이 정의 되 고 사용 하도록 설정 된 경우 데이터베이스 커서 는 데이터베이스에 대해 지원 되지 않습니다.Database cursors aren't supported for a database if the database itself or any of its tables have the Streaming ingestion policy defined and enabled.
  • 스트리밍 수집에 사용할 데이터 매핑을 미리 만들어야 합니다.Data mappings must be pre-created for use in streaming ingestion. 개별 스트리밍 수집 요청은 인라인 데이터 매핑을 허용 하지 않습니다.Individual streaming ingestion requests don't accommodate inline data mappings.
  • VM 및 클러스터 크기를 늘려 스트리밍 수집 성능 및 용량을 확장 합니다.Streaming ingestion performance and capacity scales with increased VM and cluster sizes. 동시 수집 요청 수는 코어 당 6 개로 제한 됩니다.The number of concurrent ingestion requests is limited to six per core. 예를 들어 D14 및 L16와 같은 16 개 코어 Sku의 경우 지원 되는 최대 부하는 동시 수집 요청 96입니다.For example, for 16 core SKUs, such as D14 and L16, the maximal supported load is 96 concurrent ingestion requests. 코어 2와 같은 두 코어 Sku의 경우 지원 되는 최대 부하는 12 개의 동시 수집 요청입니다.For two core SKUs, such as D11, the maximal supported load is 12 concurrent ingestion requests.
  • 스트리밍 수집 요청에 대 한 데이터 크기 제한은 4mb입니다.The data size limit for streaming ingestion request is 4 MB.
  • 테이블 생성 및 수정과 수집 매핑 등의 스키마 업데이트는 스트리밍 수집 서비스에 대해 최대 5 분이 걸릴 수 있습니다.Schema updates, such as creation and modification of tables and ingestion mappings, may take up to five minutes for the streaming ingestion service. 자세한 내용은 스트리밍 수집 및 스키마 변경을 참조 하세요.For more information see Streaming ingestion and schema changes.
  • 데이터가 스트리밍을 통해 수집 않는 경우에도 클러스터에서 스트리밍 수집을 사용 하도록 설정 하면에서 클러스터 컴퓨터의 로컬 SSD 디스크의 일부를 사용 하 여 수집 데이터를 스트리밍하 고 핫 캐시에 사용할 수 있는 저장소를 줄입니다.Enabling streaming ingestion on a cluster, even when data isn't ingested via streaming, uses part of the local SSD disk of the cluster machines for streaming ingestion data and reduces the storage available for hot cache.
  • 스트리밍 수집 데이터에 익스텐트 태그 를 설정할 수 없습니다.Extent tags can't be set on the streaming ingestion data.
  • 업데이트 정책.Update policy. 업데이트 정책은 원본 테이블의 새로 수집 데이터만 참조할 수 있으며 데이터베이스의 다른 데이터 나 테이블은 참조할 수 없습니다.The update policy can reference only the newly-ingested data in the source table and not any other data or tables in the database.
  • 데이터베이스의 테이블에서 스트리밍 수집을 사용 하는 경우에는이 데이터베이스를 종동체 데이터베이스 의 리더 또는 Azure 데이터 공유에 대 한 데이터 공급자로 사용할 수 없습니다.If streaming ingestion is used on any of the tables of the database, this database cannot be used as leader for follower databases or as a data provider for Azure Data Share.

다음 단계Next steps