HDFS 문제 해결

  • 아티클

중요

Microsoft SQL Server 2019 빅 데이터 클러스터 추가 기능이 사용 중지됩니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일에 종료됩니다. Software Assurance를 사용하는 SQL Server 2019의 모든 기존 사용자는 플랫폼에서 완전히 지원되며, 소프트웨어는 지원 종료 시점까지 SQL Server 누적 업데이트를 통해 계속 유지 관리됩니다. 자세한 내용은 공지 블로그 게시물 및 Microsoft SQL Server 플랫폼의 빅 데이터 옵션을 참조하세요.

이 문서에는 SQL Server 2019 빅 데이터 클러스터 HDFS 오류에 대한 문제 해결 시나리오가 포함되어 있습니다.

HDFS 힙 크기 문제 해결

증상

SQL Server 빅 데이터 클러스터: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)

원인

HDFS 힙 크기가 제대로 구성되지 않았을 수 있습니다. namenode JVM 힙의 적절한 설정은 파일 및 블록 수, HDFS 시스템의 부하와 같은 여러 요인에 따라 달라집니다. 힙 크기를 계산하는 방법에 대한 자세한 내용은 namenode 힙 크기 구성을 참조하세요.

해결

SQL Server 빅 데이터 클러스터에서 HDFS namenode 프로세스의 힙 크기는 빅 데이터 클러스터 구성 hdfs-env.HDFS_NAMENODE_OPTS에 의해 제어됩니다. 기본값은 HDFS 구성 속성에 지정된 대로 2GB입니다. 이 해결 방법은 전체 빅 데이터 클러스터의 전역 구성 변경인 힙 크기 증가를 제안합니다.

SQL Server 빅 데이터 클러스터 런타임 구성 기능은 SQL Server 2019 CU9 이후 기본적으로 사용하도록 설정됩니다. 계속하려면 클러스터를 CU9 이상, 가능하면 사용 가능한 최신 버전으로 업그레이드하세요. 자세한 내용은 SQL Server 빅 데이터 클러스터 릴리스 정보를 참조하세요.

HDFS namenode의 힙 크기를 늘리려면 배포 후 구성 가이드를 따릅니다.

다음 샘플에서는 azdata를 사용하여 HDFS namenode 힙을 4GB로 늘립니다. 이 작업은 CU9 이상에서만 사용할 수 있습니다.

azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"

변경을 확인하고 업데이트 상태를 모니터링하려면 다음을 수행합니다.

# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
 
# Apply the pending settings
azdata bdc settings apply
 
# Monitor the configuration update status
azdata bdc status show --all

참고 항목

다음 단계