작업 실행 보기 및 관리

아티클
03/22/2024

이 문서에서는 Azure Databricks UI에서 액세스할 수 있는 작업을 보고, 작업에 대한 실행 기록을 보고, 작업 실행에 대한 세부 정보를 볼 수 있는 기능을 설명합니다. Databricks CLI를 사용하여 작업을 보고 작업을 실행하는 방법을 알아보려면 CLI 명령을 databricks jobs list -hdatabricks jobs get -hdatabricks jobs run-now -h실행하고 . 작업 API 사용에 대한 자세한 내용은 작업 API를 참조하세요.

작업 보기

액세스할 수 있는 작업 목록을 보려면 사이드바에서 워크플로를 클릭합니다. 워크플로 UI의 작업 탭에는 작업 작성자, 작업에 대한 트리거(있는 경우) 및 마지막 실행 결과와 같은 사용 가능한 모든 작업에 대한 정보가 나열됩니다.

작업 목록에 표시되는 열을 변경하려면 열을 클릭하고 선택하거나 선택 취소합니다.

[작업] 목록에서 다음과 같이 작업을 필터링할 수 있습니다.

키워드를 사용합니다. 이 작업 영역에 대해 증가된 작업 제한 기능이 활성화된 경우 키워드로 검색하는 것은 이름, 작업 ID 및 작업 태그 필드에 대해서만 지원됩니다.
소유한 작업만 선택합니다.
액세스 권한이 있는 모든 작업을 선택합니다.
태그 사용. 키만 사용하여 만든 태그를 검색하려면 검색 상자에 키를 입력합니다. 키와 값으로 만든 태그를 검색하려면 키, 값 또는 키와 값 모두로 검색할 수 있습니다. 예를 들어 키 department와 값 finance가 있는 태그의 경우 department 또는 finance를 검색하여 일치하는 작업을 찾을 수 있습니다. 키와 값으로 검색하려면 콜론으로 구분된 키와 값을 입력합니다. 예를 들면 다음과 같습니다 department:finance.

열 머리글을 클릭하여 해당 열을 기준으로 작업 목록(내림차순 또는 오름차순)을 정렬할 수도 있습니다. 증가된 작업 제한 기능을 사용하도록 설정하면 Name, Job ID 또는 Created by로만 정렬할 수 있습니다. 기본 정렬은 Name을 기준으로 오름차순입니다.

작업에 대한 작업에 액세스하려면 클릭합니다 작업 세로 줄임표 (예: 작업 삭제).

작업에 대한 보기 실행

Apache Airflow 또는 Azure Data Factory와 같은 외부 오케스트레이션 도구에서 시작한 실행을 포함하여 액세스 권한이 있는 모든 작업에 대해 현재 실행되고 최근에 완료된 실행 목록을 볼 수 있습니다. 최근 작업 실행 목록을 보려면 다음을 수행합니다.

사이드바에서 워크플로를 클릭합니다.
이름 열에서 작업 이름을 클릭합니다. 실행 탭은 활성 및 완료된 실행의 행렬 및 목록 보기와 함께 표시됩니다.

행렬 보기는 각 작업 태스크를 포함하여 작업에 대한 실행 기록을 보여 줍니다.

행렬의 실행 총 기간 행에는 실행의 총 기간 및 실행 상태가 표시됩니다. 시작 시간, 기간 및 상태 포함하여 실행의 세부 정보를 보려면 실행 총 기간 행의 막대를 마우스로 가리킵니다.

작업 행의 각 셀은 작업의 작업 및 해당 상태를 나타냅니다. 시작 시간, 기간, 클러스터 및 상태를 포함하여 각 작업의 세부 정보를 보려면 해당 작업의 셀을 마우스로 가리킵니다.

작업 실행 및 작업 실행 막대는 실행 상태를 나타내기 위해 색으로 구분됩니다. 성공한 실행은 녹색이고, 실패한 실행은 빨간색이고, 건너뛴 실행은 분홍색입니다. 개별 작업 실행 및 작업 실행 막대의 높이는 실행 기간을 시각적으로 나타냅니다.

예상 완료 시간을 구성 한 경우 실행 기간이 구성된 시간을 초과하면 행렬 보기에 경고가 표시됩니다.

기본적으로 실행 목록 보기는 다음과 같이 표시됩니다.

실행 시작 시간입니다.
실행 식별자입니다.
실행이 작업 일정 또는 API 요청에 의해 트리거되었거나 수동으로 시작되었는지 여부입니다.
현재 실행 중인 작업의 경과 시간 또는 완료된 실행의 총 실행 시간입니다. 기간이 구성된 예상 완료 시간을 초과하면 경고가 표시됩니다.
Spark 로그에 대한 링크입니다.
실행의 상태 , Queued, Pending, Running, SucceededSkipped, Failed, TerminatingTerminatedInternal Error, CanceledTimed OutCanceling또는 .Waiting for Retry
예를 들어 활성 실행을 중지하거나 완료된 실행을 삭제하는 등 실행에 대한 컨텍스트별 작업에 액세스하려면 클릭합니다 .

실행 목록 보기에 표시되는 열을 변경하려면 열을 클릭하고 선택하거나 선택 취소합니다.

작업 실행에 대한 세부 정보를 보려면 실행 목록 보기의 시작 시간 열에서 실행 링크를 클릭합니다. 이 작업의 가장 최근 실행 성공에 대한 세부 정보를 보려면 성공한 최신 실행으로 이동을 클릭합니다.

Azure Databricks는 작업 실행 기록을 최대 60일 동안 유지합니다. 작업 실행을 유지해야 하는 경우 Databricks는 만료되기 전에 결과를 내보내는 것이 좋습니다. 자세한 내용은 작업 실행 결과 내보내기를 참조하세요.

작업 실행 세부 정보 보기

작업 실행 세부 정보 페이지에는 작업 실행에서 각 작업의 성공 또는 실패에 대한 정보를 포함하여 작업 출력 및 로그에 대한 링크가 포함되어 있습니다. 작업 실행 세부 정보는 작업의 실행 탭에서 액세스할 수 있습니다. 실행 탭에서 작업 실행 세부 정보를 보려면 실행 목록 보기의 시작 시간 열에서 실행 링크를 클릭합니다. 작업의 실행 탭으로 돌아가려면 작업 ID 값을 클릭합니다.

작업에 여러 작업이 포함된 경우 작업을 클릭하여 다음을 비롯한 작업 실행 세부 정보를 봅니다.

작업을 실행한 클러스터
- 태스크에 대한 Spark UI
- 태스크에 대한 로그
- 태스크에 대한 메트릭

작업 ID 값을 클릭하여 작업의 실행 탭으로 돌아갑니다.

태스크 실행 기록 보기

성공 및 실패 실행을 포함하여 태스크의 실행 기록을 보려면 다음을 수행합니다.

작업 실행 세부 정보 페이지에서 작업을 클릭합니다. 작업 실행 세부 정보 페이지가 나타납니다.
실행 기록 드롭다운 메뉴에서 작업 실행을 선택합니다.

최근 작업 실행 보기

Apache Airflow 또는 Azure Data Factory와 같은 외부 오케스트레이션 도구에서 시작한 실행을 포함하여 액세스할 수 있는 작업 영역의 모든 작업에 대해 현재 실행 중이거나 최근에 완료된 실행 목록을 볼 수 있습니다. 최근 작업 실행 목록을 보려면 다음을 수행합니다.

사이드바에서 워크플로를 클릭합니다.
작업 실행 탭을 클릭하여 작업 실행 목록을 표시합니다.

완료된 실행 수 그래프는 지난 48시간 동안 완료된 작업 실행 수를 표시합니다. 기본적으로 그래프는 실패, 건너뛰기 및 성공한 작업 실행을 표시합니다. 그래프를 필터링하여 특정 실행 상태 표시하거나 그래프를 특정 시간 범위로 제한할 수도 있습니다. 작업 실행 탭에는 지난 67일 동안의 작업 실행 테이블도 포함됩니다. 기본적으로 테이블에는 실패, 건너뛰기 및 성공한 작업 실행에 대한 세부 정보가 포함됩니다.

참고 항목

완료된 실행 개수 그래프는 내 소유를 클릭할 때만 표시됩니다.

실행 상태 완료된 실행 수를 필터링할 수 있습니다.

현재 실행 중이거나 실행 대기 중인 작업을 표시하도록 그래프를 업데이트하려면 활성 실행을 클릭합니다.
실패, 성공 및 건너뛴 실행을 포함하여 완료된 실행만 표시하도록 그래프를 업데이트하려면 완료된 실행을 클릭합니다.
지난 48시간 동안 성공적으로 완료된 실행만 표시하도록 그래프를 업데이트하려면 성공적인 실행을 클릭합니다.
건너뛴 실행만 표시하도록 그래프를 업데이트하려면 건너뛴 실행을 클릭합니다. 작업 영역에서 최대 동시 실행 수를 초과했거나 작업이 작업 구성에서 지정한 최대 동시 실행 수를 초과했기 때문에 실행을 건너뜁습니다.
오류 상태에서 완료된 실행만 표시하도록 그래프를 업데이트하려면 실패한 실행을 클릭합니다.

필터 단추를 클릭하면 실행 테이블의 실행 목록도 업데이트되어 선택한 상태 일치하는 작업 실행만 표시됩니다.

완료된 실행 개수 그래프에 표시되는 시간 범위를 제한하려면 그래프에서 커서를 클릭하여 끌어서 시간 범위를 선택합니다. 표시된 그래프 및 실행 테이블 업데이트는 선택한 시간 범위에서만 실행됩니다.

기본적으로 실행 테이블의 실행 목록은 다음과 같습니다.

실행 시작 시간입니다.
실행과 연결된 작업의 이름입니다.
작업을 실행할 사용자 이름입니다.
실행이 작업 일정 또는 API 요청에 의해 트리거되었거나 수동으로 시작되었는지 여부입니다.
현재 실행 중인 작업의 경과 시간 또는 완료된 실행의 총 실행 시간입니다. 기간이 구성된 예상 완료 시간을 초과하면 경고가 표시됩니다.
실행의 상태 , Queued, Pending, Running, SucceededSkipped, Failed, TerminatingTerminatedInternal Error, CanceledTimed OutCanceling또는 .Waiting for Retry
실행에 대한 모든 매개 변수입니다.
예를 들어 활성 실행을 중지하거나 완료된 실행을 삭제하는 등 실행에 대한 컨텍스트별 작업에 액세스하려면 클릭합니다 .

실행 목록에 표시되는 열을 변경하려면 열을 클릭하고 선택하거나 선택 취소합니다.

상위 5개 오류 유형 테이블에는 선택한 시간 범위에서 가장 자주 발생하는 오류 유형 목록이 표시되므로 작업 영역에서 작업 문제의 가장 일반적인 원인을 빠르게 확인할 수 있습니다.

작업 실행 세부 정보를 보려면 해당 실행의 시작 시간 열에 있는 링크를 클릭합니다. 작업 세부 정보를 보려면 작업 열에서 작업 이름을 클릭합니다.

작업에 대한 계보 정보 보기

작업 영역에서 Unity 카탈로그를 사용하는 경우 워크플로의 모든 Unity 카탈로그 테이블에 대한 계보 정보를 볼 수 있습니다. 워크플로에 계보 정보를 사용할 수 있는 경우 작업에 대한 작업 세부 정보 패널, 작업 실행에 대한 작업 실행 세부 정보 패널 또는 작업 실행에 대한 작업 실행 세부 정보 패널에 업스트림 및 다운스트림 테이블 수가 포함된 링크가 표시됩니다. 링크를 클릭하여 테이블 목록을 표시합니다. 카탈로그 탐색기에서 자세한 정보를 보려면 표를 클릭합니다.

작업 실행 결과 내보내기

모든 작업 유형에 대한 Notebook 실행 결과 및 작업 실행 로그를 내보낼 수 있습니다.

Notebook 실행 결과 내보내기

결과를 내보내 작업 실행을 보존할 수 있습니다. Notebook 작업 실행의 경우 나중에 Azure Databricks 작업 영역으로 가져올 수 있는 렌더링된 Notebook을 내보낼 수 있습니다.

단일 태스크가 있는 작업에 대한 Notebook 실행 결과를 내보내려면,

작업 세부 정보 페이지에서 완료된 실행(지난 60일) 테이블의 실행 열에서 해당 실행에 대한 세부 정보 보기 링크를 클릭합니다.
HTML로 내보내기를 클릭합니다.

여러 태스크가 있는 작업에 대한 Notebook 실행 결과를 내보내려면,

작업 세부 정보 페이지에서 완료된 실행(지난 60일) 테이블의 실행 열에서 해당 실행에 대한 세부 정보 보기 링크를 클릭합니다.
내보낼 Notebook 태스크를 클릭합니다.
HTML로 내보내기를 클릭합니다.

작업 실행 로그 내보내기

작업 실행에 대한 로그를 내보낼 수도 있습니다. 작업 API를 통해 로그를 DBFS에 자동으로 전달하도록 작업을 설정할 수 있습니다. 작업 API의 새 작업 만들기 작업(POST /jobs/create)에 전달된 요청 본문의 new_cluster.cluster_log_conf 개체를 참조하세요.