데이터 레이크하우스의 운영 우수성
운영 우수성 기둥의 건축 원칙은 레이크 하우스를 계속 실행하는 모든 운영 프로세스를 다룹니다. 운영 우수성은 레이크하우스를 효율적으로 운영하는 기능을 해결하고 레이크하우스를 운영, 관리 및 모니터링하여 비즈니스 가치를 제공하는 방법을 설명합니다.
운영 우수성 원칙
빌드 및 릴리스 프로세스 최적화
전체 Lakehouse 환경에서 소프트웨어 엔지니어링 모범 사례를 사용합니다. DevOps 및 MLOps 모두에 대한 지속적인 통합 및 지속적인 업데이트 파이프라인을 사용하여 빌드 및 릴리스합니다.
배포 및 워크로드 자동화
Lakehouse에 대한 배포 및 워크로드를 자동화하면 이러한 프로세스를 표준화하고, 사용자 오류를 제거하고, 생산성을 향상하고, 더 큰 반복성을 제공할 수 있습니다. 여기에는 구성 드리프트를 방지하기 위해 "코드로 구성"을 사용하고 필요한 모든 Lakehouse 및 클라우드 서비스의 프로비저닝을 자동화하는 "코드로서의 인프라"를 사용하는 것이 포함됩니다.
특히 ML의 경우 프로세스는 자동화를 구동해야 합니다. 프로세스의 모든 단계를 자동화할 수 있거나 자동화해야 하는 것은 아닙니다. 사람 여전히 비즈니스 질문을 결정하며, 일부 모델은 배포 전에 항상 사용자 감독이 필요합니다. 따라서 개발 프로세스는 기본 프로세스이며 프로세스의 각 모듈은 필요에 따라 자동화되어야 합니다. 이렇게 하면 자동화 및 사용자 지정을 증분 방식으로 빌드할 수 있습니다.
모니터링, 경고 및 로깅 설정
레이크하우스의 워크로드는 일반적으로 Databricks 플랫폼 서비스 및 외부 클라우드 서비스(예: 데이터 원본 또는 대상)를 통합합니다. 실행 체인의 각 서비스가 제대로 작동하는 경우에만 성공적인 실행이 발생할 수 있습니다. 그렇지 않은 경우 모니터링, 경고 및 로깅은 문제를 감지 및 추적하고 시스템 동작을 이해하는 데 중요합니다.
용량 및 할당량 관리
클라우드에서 시작되는 모든 서비스의 경우 액세스 속도 제한, 인스턴스 수, 사용자 수 및 메모리 요구 사항과 같은 제한을 고려합니다. 솔루션을 디자인하기 전에 이러한 제한을 이해해야 합니다.
다음: 운영 우수성에 대한 모범 사례
운영 우수성에 대한 모범 사례를 참조하세요.