HDInsight에서 Apache Kafka에 대한 확장성 및 스토리지 구성

  • 아티클

HDInsight에서 Apache Kafka에 사용된 관리 디스크 수를 구성하는 방법을 알아봅니다.

HDInsight의 Kafka는 HDInsight 클러스터에서 가상 머신의 로컬 디스크를 사용합니다. Kafka는 입출력이 매우 많으며 높은 처리량을 제공하고 노드당 더 많은 스토리지를 제공하기 위해 Azure Managed Disks를 사용합니다. Kafka에는 기존 VHD(가상 하드 드라이브)가 사용된 경우 각 노드는 1TB로 제한됩니다. 관리 디스크를 통해 여러 디스크를 사용하여 클러스터에서 노드당 16TB를 달성할 수 있습니다.

다음 다이어그램은 관리 디스크가 있기 전, HDInsight의 Kafka와 관리 디스크가 있는 HDInsight의 Kafka를 비교하여 보여줍니다.

kafka with managed disks architecture.

관리 디스크 구성: Azure Portal

  1. HDInsight 클러스터 만들기의 단계에 따라 포털을 사용하여 클러스터를 만드는 일반적인 단계를 이해합니다. 포털 생성 프로세스를 완료하지 마세요.

  2. 구성 및 가격 책정 섹션에서 노드 수 필드를 사용하여 디스크 수를 구성합니다.

    참고 항목

    관리 디스크 유형은 표준 (HDD) 또는 프리미엄 (SSD)일 수 있습니다. 프리미엄 디스크는 DS 및 GS 시리즈 VM에 사용됩니다. 다른 모든 VM 유형은 표준을 사용합니다.

    cluster size section with the disks per worker node highlighted.

관리 디스크 구성: Resource Manager 템플릿

Kafka 클러스터에서 작업자 노드에 사용된 디스크 수를 제어하려면 템플릿의 다음 섹션을 사용합니다.

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

다음 단계

HDInsight에서 Apache Kafka를 사용하는 방법에 대한 자세한 내용은 다음 문서를 참조하세요.