Notebook을 사용하여 빅 데이터 클러스터에서 로그 수집 및 분석

  • 아티클

이 페이지는 SQL Server 빅 데이터 클러스터용 Notebook의 인덱스입니다. 이러한 실행 가능 Notebook(.ipynb)은 빅 데이터 클러스터에서 로깅하는 데 도움이 되도록 SQL Server 2019용으로 설계되었습니다.

Important

Microsoft SQL Server 2019 빅 데이터 클러스터 추가 기능이 사용 중지됩니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일에 종료됩니다. Software Assurance를 사용하는 SQL Server 2019의 모든 기존 사용자는 플랫폼에서 완전히 지원되며, 소프트웨어는 지원 종료 시점까지 SQL Server 누적 업데이트를 통해 계속 유지 관리됩니다. 자세한 내용은 공지 블로그 게시물 및 Microsoft SQL Server 플랫폼의 빅 데이터 옵션을 참조하세요.

각 Notebook은 자체 종속성을 확인하도록 설계되었습니다. 모든 셀 실행 옵션이 성공적으로 완료되거나, 예외가 발생하고 누락된 종속성을 해결하는 다른 Notebook에 대한 하이퍼링크 힌트를 제공합니다. 대상 Notebook에 대한 힌트 하이퍼링크를 따라 모든 셀 실행을 클릭합니다. 성공하면 원래 Notebook으로 돌아가서 모든 셀 실행을 클릭합니다.

모든 종속성이 설치되었지만 모든 셀 실행이 실패한 경우 각 Notebook은 결과를 분석하고 가능한 경우 다른 Notebook에 대한 하이퍼링크 힌트를 생성하여 문제 해결을 추가로 지원합니다.

빅 데이터 클러스터에서 로그 수집

이 섹션에는 SQL Server 빅 데이터 클러스터에서 로그를 가져오는 데 유용한 일련의 Notebook이 포함되어 있습니다.

속성 설명
TSG001 - azdata copy-logs 실행 azdata 명령줄 인터페이스를 사용하여 빅 데이터 클러스터에 데이터를 복사합니다.
TSG061 - BDC 네임스페이스의 Pod에 대한 모든 컨테이너 로그의 끝부분 가져오기 빅 데이터 클러스터에서 Pod에 대한 모든 컨테이너 로그를 가져옵니다.
TSG062 - BDC 네임스페이스의 Pod에 대한 모든 이전 컨테이너 로그의 끝부분 가져오기 네임스페이스의 빅 데이터 클러스터에서 Pod에 대한 모든 이전 컨테이너 로그를 가져옵니다.
TSG083 - kubectl cluster-info dump 실행 kubetl 명령줄 인터페이스를 사용하여 빅 데이터 클러스터 관련 정보를 덤프합니다.
TSG084 - 내부 쿼리 프로세서 오류 DMV 쿼리를 사용하여 내부 쿼리 프로세서 오류에 대한 자세한 정보를 가져옵니다.
TSG091 - azdata CLI 로그 가져오기 로컬 컴퓨터에서 azdata 로그를 가져옵니다.

빅 데이터 클러스터에서 로그 분석

SQL Server 빅 데이터 클러스터에서 로그를 수집하고 분석하는 Notebook 세트입니다. 분석 프로세스는 로그에 있는 알려진 문제에 대해 실행하도록 후속 Notebook을 제안합니다.

속성 설명
TSG030 - SQL Server 오류 로그 파일 SQL Server 오류 로그 파일을 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG031 - SQL Server PolyBase 로그 SQL Server PolyBase 로그 파일을 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG034 - Livy 로그 Livy 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG035 - Spark 기록 로그 Spark 기록 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG036 - 컨트롤러 로그 컨트롤러 로그의 마지막 'n'시간 분량을 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG046 - Knox 게이트웨이 로그 Knox는 클라이언트에 500 오류를 반환하고 문제의 기본적인 원인을 알려주는 세부 정보(스택)를 제거합니다. 따라서 이 Notebook을 사용하여 클러스터에서 Knox 로그를 가져옵니다. Knox 게이트웨이 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG073 - InfluxDB 로그 InfluxDB 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG076 - Elastic Search 로그 탄력적 검색 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG077 - Kibana 로그 Kibana 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG088 - Hadoop 데이터 노드 로그 Hadoop 데이터 노드 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG090 - Yarn nodemanager 로그 Yarn nodemanager 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG092 - BDC에 있는 모든 컨테이너의 Supervisord 로그 뒷부분 BDC에 있는 모든 컨테이너의 Supervised 로그 뒷부분을 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG093 - BDC에 있는 모든 컨테이너의 에이전트 로그 뒷부분 BDC에 있는 모든 컨테이너의 에이전트 로그 뒷부분을 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG094 - Grafana 로그 Grafana 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG095 - Hadoop namenode 로그 Hadoop 이름 노드 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.
TSG096 - Zookeeper 로그 Zookeeper 로그를 가져오고 로그 항목을 분석하여 관련 문제 해결 가이드를 제안합니다.

다음 단계