연습 - HDInsight를 프로비저닝하여 임시 분석 수행

  • 10분

Interactive Query의 이점 및 작동 원리를 알아보았으므로 이제 부동산 대시보드를 빌드하기 위한 리소스 배포를 시작해 보겠습니다.

Interactive Query 클러스터를 만들기 전에

클러스터를 만들려면 먼저 Azure 구독 및 Azure Storage 계정이 필요합니다. Azure Storage는 HDInsight와 매끄럽게 통합되는 강력한 범용 스토리지 솔루션입니다. HDInsight는 Azure Storage의 Blob 컨테이너를 클러스터의 기본 파일 시스템으로 사용합니다. 기본 클러스터 스토리지 및 비즈니스 데이터에 별도의 스토리지 컨테이너를 사용하여 고유한 비즈니스 데이터에서 HDInsight 로그 및 임시 파일을 격리하는 것이 좋습니다.

또한 Interactive Query는 모듈 1에 설명된 대로 Azure Data Lake Storage Gen1 또는 Azure Data Lake Storage Gen2를 사용할 수 있습니다. HDInsight가 어떻게 작동하든지, Azure Storage 및 Azure Data Lake Storage Gen2에서만 Hive LLAP를 지원합니다. 이 절차에서는 Azure Storage를 사용합니다.

Interactive Query 클러스터를 만들 위치

Interactive Query 클러스터가 솔루션에 가장 적합한 클러스터 유형이라고 확신하는 경우 Azure portal, Azure CLI, Azure PowerShell, cURL, Azure Resource Manager 템플릿, HDInsight .NET SDK와 같은 여러 위치에서 클러스터를 만들 수 있으며, Azure Data Factory를 사용하여 요청 시 클러스터를 만들 수도 있습니다. 이 절차에서는 Azure Portal을 사용하여 Interactive Query 클러스터를 배포합니다.

Azure Portal에서 스토리지 계정 프로비전

배포할 첫 번째 리소스(아직 없는 경우)는 Azure Storage 계정입니다.

  1. 체험 구독을 사용하여 Azure Portal에 로그인합니다.

  2. 리소스 만들기 > 스토리지 > 스토리지 계정을 클릭합니다.

    Creating an HDInsight Interactive Query Solution in the Azure portal.

  3. 기본 사항 페이지에서 다음 값을 입력합니다.

    • 구독: 무료 구독이 선택되었는지 확인합니다.
    • 리소스 그룹: [새로 만들기]를 클릭하고 이름을 hdinsightmodule6uid로 지정합니다. 여기서 uid는 고유 식별자입니다.
    • 스토리지 계정 이름: hdinsightmodule6uid를 입력합니다.
    • 위치: 대기 시간을 줄이기 위해 사용자에게 가장 가까운 위치를 선택합니다. 동일한 지역에서 HDInsight 클러스터를 만들 것이므로 이 지역을 기록해 둡니다.
    • 성능: 기본값인 표준을 그대로 둡니다.
    • 계정 종류: 기본값인 StorageV2(범용 v2)를 그대로 둡니다.
    • 복제: 값을 LRS(로컬 중복 스토리지)로 변경합니다.
    • 액세스 계층(기본값): 기본값 핫을 그대로 둡니다.

  4. 다음: 네트워킹을 클릭합니다.

    HDInsight basics tab in the Azure portal.

  5. 네트워킹 페이지에서 퍼블릭 엔드포인트(모든 네트워크)의 연결 방법을 그대로 두고 다음: 고급>을 클릭합니다.

    HDInsight networking tab in the Azure portal.

  6. 고급 페이지에서 다음 값을 입력합니다.

    • 보안: 기본값인 사용을 그대로 둡니다.
    • Azure Files: 기본값인 사용 안 함을 그대로 둡니다.
    • 데이터 보호: 기본값인 사용 안 함을 그대로 둡니다.
    • Data Lake Storage Gen2: 기본값인 사용 안 함을 그대로 두고 Blob Storage 계정을 만든 후 검토 + 만들기 >를 클릭합니다.

  7. 스토리지 계정 만들기 페이지에서 계정 종류가 StorageV2(범용 v2)로 설정되어 있는지 확인한 후 [만들기]를 클릭합니다.

    HDInsight review screen in the Azure portal.

  8. 배포가 완료되면 다음 메시지가 표시됩니다.

    Screenshot that shows the Microsoft Storage Account overview page, stating that your deployment is complete.

스토리지 계정을 만들었으므로 이제 HDInsight Interactive Query 클러스터를 배포해 보겠습니다.

HDInsight Interactive Query 클러스터 프로비저닝

  1. 리소스 만들기 > 분석 > Azure HDInsight를 클릭합니다.

    Screenshot that shows the Azure portal with Create a resource, Analytics, and Azure H D Insight highlighted.

  2. 기본 사항 페이지에서 클래식 만들기 환경으로 이동을 클릭합니다.

    Screenshot that shows the Basics page with Go to classic create experience highlighted.

  3. HDInsight 페이지에서 사용자 지정(크기, 설정, 앱)을 클릭합니다.

    Screenshot that shows the H D Insight page with Custom highlighted.

  4. 기본 사항 페이지에서 다음 값을 입력합니다.

    • 클러스터 이름: 클러스터의 고유한 이름(예: mslearnmodule6uid)을 입력합니다. 클러스터 이름의 유효성이 검사되고 사용 가능할 경우 이름 옆에 녹색 틱이 표시됩니다.
    • 구독: 무료 구독이 선택되었는지 확인합니다.
    • 클러스터 유형: 필수 설정 구성을 클릭한 후 [클러스터 유형] 상자에서 Interactive Query를 선택하고 [버전] 상자에서 Interactive Query 3.1.0(HDI 4.0)을 선택합니다.
    • 클러스터 로그인 사용자 이름: 기본값인 admin을 그대로 둡니다.
    • 클러스터 로그인 암호: 클러스터 로그인의 암호를 입력합니다.
    • SSH(Secure Shell) 사용자 이름: 기본값인 sshuser를 그대로 둡니다.
    • 리소스 그룹: 앞에서 만든 리소스 그룹 mslearnmodule6yourid를 선택합니다.
    • 위치: 스토리지 계정을 만든 동일한 지역을 선택합니다.

  5. 그런 후 다음을 클릭합니다.

    Screenshot shows the H D Insight, Basics, and Cluster configuration pages with multiple fields highlighted.

  6. 보안 + 네트워킹 페이지에서 다음을 클릭합니다.

  7. 스토리지 페이지에서 다음 값을 입력합니다.

    • 기본 스토리지 유형: Azure Storage의 기본값이 선택되었는지 확인합니다.
    • 스토리지 계정을 선택하고 필수 설정 구성을 클릭합니다.
    • 스토리지 계정 페이지에서 직접 만든 스토리지 계정의 이름인 mslearnmodule6uid를 검색하고 선택합니다.

  8. 기본적으로 다른 모든 값을 그대로 두고 다음을 클릭합니다.

    The storage page in the Azure portal.

  9. 애플리케이션(선택사항) 페이지에서 다음을 클릭합니다.

  10. 클러스터 크기 페이지에서 다음을 클릭합니다.

  11. 스크립트 동작 페이지에서 선택 사항을 클릭한 후 새로운 항목 제출을 클릭합니다.

  12. 제출 스크립트 동작 페이지에서 다음 값을 입력합니다.

  13. 그런 다음, 만들기를 클릭합니다.

    The script actions page in the Azure portal.

  14. 스크립트 동작 페이지에서 유효성 검사를 완료한 후 선택, 다음을 차례로 클릭합니다.

  15. 클러스터 요약 페이지에서 유효성 검사가 완료된 후 클러스터 유형이 Interactive Query 3.1(HDI 4.0)로 설정되어 있는지 확인하고 만들기를 클릭합니다.

    The HDInsight summary page in the Azure portal.

  16. 알림 아이콘을 클릭하여 배포 진행률을 볼 수 있습니다.

    The deployment in progress notification in the Azure portal.

    배포에 성공하면 메시지가 배포 성공으로 변경됩니다.

  17. [알림] 창에서 [리소스로 이동]을 클릭합니다.

    The HDInsight deployment succeeded screen in the Azure portal.

  18. 클러스터 관련 정보를 포함하고 유용한 도구 및 보고서의 링크를 제공하는 HDInsight 클러스터의 개요 페이지가 표시됩니다. [고정] 단추를 클릭하여 대시보드에 이 리소스를 추가할 수 있습니다.

    The HDInsight overview screen in the Azure portal.