HDInsight를 사용한 대화형 쿼리

Data Factory
Data Lake Storage
HDInsight
Power BI

솔루션 아이디어

잠재적인 사용 사례, 대체 서비스, 구현 고려 사항 또는 가격 책정 지침과 같은 추가 정보를 사용하여 이 문서를 확장하려는 경우 GitHub 피드백을통해 알려주세요!

Azure HDInsight에서 Apache Hive llap을 사용 하 여 구조적 또는 비구조적 데이터에 대해 대규모로 쿼리 하는 것과 같은 빠르고 대화형 SQL를 수행 합니다.

Architecture

아키텍처 다이어그램 이 아키텍처의 SVG 를 다운로드 합니다.

데이터 흐름

  1. Azure Data Factory를 사용 하 여 Azure 클라우드 또는 다른 비 Azure 클라우드 간에 데이터 이동
  2. Azure HDInsights hadoop 클러스터에 대 한 기본 저장소 계정 이기도 한 Azure Data Lake Gen2 service를 사용 하 여 데이터 방문 영역을 만듭니다.
  3. Azure Data Factory 또는 Hive를 사용 하 여 HDFS에서 들어오는 데이터를 변환 하는 데 ELT 프로시저 실행
  4. HDFS에서이 데이터를 사용 하 여 Hive에서 외부 테이블 만들기
  5. Power BI를 사용 하 여이 데이터를 해석 하 고 새 시각화를 만듭니다.

구성 요소

  • Azure Data Factory 은 ETL/ELT 워크플로를 만들고, 예약 하 고, 오케스트레이션 할 수 있는 하이브리드 데이터 통합 서비스입니다.
  • Azure Data Lake Storage 은 파일 시스템 의미 체계, Azure Blob 저장소에 구축 된 빅 데이터 분석 전용 파일 수준 보안 등의 기능 집합입니다.
  • Azure HDInsight 를 사용 하면 쉽고 빠르며 비용 효율적으로 대량의 데이터를 처리할 수 있습니다. Hadoop, Spark, Hive, LLAP, Kafka, Storm, R 등과 같은 오픈 소스 프레임워크를 사용할 수 있습니다.
  • Power BI는 조직 전체에 인사이트를 전달하는 비즈니스 분석 도구 모음입니다. 수백 개의 데이터 원본에 커넥트 하 고, 데이터 준비를 간소화 하며, 애드혹 분석을 구동 합니다.

참고 항목