모델 품질 및 엔드포인트 상태 모니터링
Databricks Model Serving는 모델 및 해당 배포의 품질과 상태를 모니터링하기 위한 고급 도구를 제공합니다. 다음 표는 사용 가능한 각 모니터링 도구에 대한 개요입니다.
| 도구 | 설명 | 용도 | Access |
|---|---|---|---|
| 서비스 로그 | 엔드포인트를 stdout 제공하는 모델에서 캡처 및 stderr 스트림합니다. |
모델 배포 중 디버깅에 유용합니다. 로그에 즉시 표시할 때 사용합니다 print(..., flush=true) . |
서비스 UI의 로그 탭 을 사용하여 액세스할 수 있습니다. 로그는 실시간으로 스트리밍되며 API를 통해 내보낼 수 있습니다. |
| 빌드 로그 | 엔드포인트를 제공하는 모델에 대한 프로덕션 준비 Python 환경을 자동으로 만드는 프로세스의 출력을 표시합니다. | 모델 배포 및 종속성 문제를 진단하는 데 유용합니다. | 로그 탭의 빌드 로그 에서 빌드를 제공하는 모델이 완료되면 사용할 수 있습니다. 로그는 API를 통해 내보낼 수 있습니다. |
| 엔드포인트 상태 메트릭 | 대기 시간, 요청 속도, 오류 비율, CPU 사용량 및 메모리 사용량과 같은 인프라 메트릭에 대한 인사이트를 제공합니다. | 서비스 인프라의 성능과 상태를 이해하는 데 중요합니다. | 지난 14일 동안 서비스 UI에서 기본적으로 사용할 수 있습니다. 데이터를 실시간으로 관찰 도구로 스트리밍할 수도 있습니다. |
| 유추 테이블 | Unity 카탈로그에서 관리하는 델타 테이블에 온라인 예측 요청 및 응답을 자동으로 기록합니다. | 모델 품질 또는 응답을 모니터링하고 디버깅하거나, 학습 데이터 집합을 생성하거나, 규정 준수 감사를 수행하는 데 이 도구를 사용합니다. | UI 또는 API에서 한 번의 클릭으로 기존 및 새 모델 서비스 엔드포인트에 대해 사용하도록 설정할 수 있습니다. |