작업 타임라인

타임라인 작업은 파이프라인 또는 쿼리를 이해하기 위한 좋은 시작점입니다. 실행 중인 작업, 각 단계의 소요 시간 및 진행 중인 오류가 있었는지에 대한 개요를 제공합니다.

작업 타임라인 여는 방법

Spark UI에서 다음 스크린샷에서 빨간색으로 강조 표시된 작업 및 이벤트 타임라인 을 클릭합니다. 타임라인 표시됩니다. 이 예제에서는 추가되는 드라이버 및 실행기 0을 보여줍니다.

살펴볼 항목

아래 섹션에서는 이벤트 타임라인 읽고 성능 또는 비용 문제의 가능한 원인을 검색하는 방법을 설명합니다. 타임라인 이러한 추세가 발견되면 각 섹션의 끝에 지침을 제공하는 문서에 대한 링크가 포함됩니다.

실패한 작업 또는 실패한 실행기

다음은 이벤트 타임라인 빨간색 상태 표시된 실패한 작업 및 제거된 실행기의 예입니다.

실패한 작업 또는 실패한 실행기가 표시되면 실패한 작업 또는 실행기가 제거되었음을 참조하세요.

실행 간격

이 예제와 같이 1분 이상의 간격을 찾습니다.

이 예제에는 몇 가지 간격이 있으며 그 중 일부는 빨간색 화살표로 강조 표시됩니다. 타임라인 간격이 보이면 1분 이상인가요? 드라이버 좌표가 작동할 때 짧은 간격이 예상됩니다. 더 긴 간격이 있는 경우 파이프라인의 중간에 있나요? 아니면 이 클러스터가 지속적으로 실행되므로 작업에서 일시 중지로 간격을 설명합니까? 워크로드가 시작되고 종료된 시간에 따라 이를 확인할 수 있습니다.

파이프라인 중간에 설명할 수 없는 긴 간격이 표시되는 경우 Spark 작업 간의 간격을 참조 하세요.

긴 작업

타임라인 하나 또는 몇 개의 긴 일자리에 의해 지배되고 있습니까? 이러한 긴 작업은 조사해야 할 것입니다. 다음 예제에서 워크로드에는 다른 작업보다 훨씬 긴 하나의 작업이 있습니다. 이것은 조사를위한 좋은 대상입니다.

발굴할 가장 긴 작업을 클릭합니다. 이 긴 단계를 조사하는 방법에 대한 자세한 내용은 Spark에서 긴 단계 진단을 참조하세요.

많은 소규모 작업

우리가 여기서 찾고있는 것은 작은 일자리가 지배하는 타임라인. 다음과 비슷하게 표시될 수 있습니다.

모든 작은 파란색 선을 확인합니다. 각 작업은 몇 초 정도 걸린 작은 작업입니다.

타임라인 대부분 작은 작업인 경우 많은 작은 Spark 작업을 참조하세요.

해당 항목 없음

타임라인 위와 같지 않은 경우 다음 단계는 가장 긴 작업을 식별하는 것입니다. 기간을 기준으로 작업을 정렬하고 가장 긴 작업에 대한 설명의 링크를 클릭합니다.

가장 긴 작업의 페이지에 있으면 이 긴 단계를 조사하는 방법에 대한 추가 정보는 Spark에서 긴 단계를 진단하는 것입니다.