데이터 품질 및 품질 모니터링
Azure Operator Insights 플랫폼에서 작동하는 모든 데이터 제품은 데이터 품질 모니터링을 기본적으로 지원합니다. 데이터 품질은 의사 결정을 위해 정확하고 신뢰할 수 있고 신뢰할 수 있는 정보를 보장하기 때문에 중요합니다. 비용이 많이 드는 실수를 방지하고, 고객 및 규제 기관과의 신뢰를 구축하며, 개인 설정된 환경을 가능하게 합니다.
Azure Operator Insights 플랫폼은 데이터가 데이터 제품 입력 스토리지(다음 이미지의 첫 번째 AOI Data Product Storage 블록)에 수집될 때와 데이터가 처리되고 고객에게 제공된 후 데이터 품질을 모니터링합니다(다음 이미지의 AOI 데이터 제품 컴퓨팅).
품질 차원
데이터 품질 차원은 데이터의 품질을 정의하는 다양한 측면 또는 특성입니다. Azure Operator Insights는 다음 차원을 지원합니다.
- 정확도 - 데이터가 현실(예: 올바른 이름, 주소 및 최신 데이터)을 얼마나 잘 반영하는지를 나타냅니다. 데이터 정확도가 높으면 신뢰할 수 있는 분석을 생성하여 올바르게 보고하고 자신감 있게 의사 결정을 내릴 수 있습니다.
- 완전성 - 특정 용도에 필요한 모든 데이터가 있고 사용할 수 있는지 여부를 나타냅니다. 완전성은 데이터 항목 수준뿐만 아니라 레코드 수준에도 적용됩니다. 완전성은 누락된 데이터가 데이터 인사이트의 안정성에 영향을 주는지를 이해하는 데 도움이 됩니다.
- 고유성 - 데이터 세트에 중복 항목이 없음을 나타냅니다.
- 일관성 - 동일한 데이터 요소가 서로 다른 원본 간에 충돌하지 않는지 또는 시간이 지남에 따라 충돌하지 않는지를 나타냅니다. 일관성을 사용하면 데이터가 균일하므로 여러 원본 간에 비교할 수 있습니다.
- 타임라인 - 데이터가 최신 상태이고 필요할 때 사용할 수 있는지 여부를 나타냅니다. 타임라인으로 인해 데이터가 의사 결정에 관련성을 갖고 유용해집니다.
- 유효성 - 데이터가 일련의 정의된 규칙 또는 제약 조건을 준수하는지 여부를 나타냅니다.
메트릭
모든 데이터 품질 차원은 Azure Operator Insights 플랫폼에서 생성된 품질 메트릭에 포함됩니다. 품질 메트릭에는 다음 두 가지 유형이 있습니다.
- 기본 - 모든 데이터 제품에 대한 표준 검사 집합입니다.
- 사용자 지정 - 모든 데이터 제품이 해당 제품과 관련된 검사를 구현할 수 있도록 하는 사용자 지정 검사 집합입니다.
플랫폼에서 생성된 기본 품질 메트릭은 다음 표에서 사용할 수 있습니다.
| 메트릭 | 차원 | 데이터 원본 |
|---|---|---|
| 수집된 행 수 | 적시성 | 수집됨 |
| 필수 열에 대해 null을 포함하는 행 수 | 완결성 | 수집됨 |
| 스키마에 대한 유효성 검사에 실패한 행 수 | 유효성 검사 | 수집됨 |
| 필터링된 행 수 | 완결성 | 수집됨 |
| 처리된 행 수 | 적시성 | 처리됨 |
| 필수 데이터가 포함되지 않은 불완전한 행 수 | 완결성 | 처리됨 |
| 중복된 행 수 | 고유성 | 처리됨 |
| 레코드 생성과 쿼리에 사용할 수 있는 전체 지연에 대한 백분위수 | 적시성 | 처리됨 |
| 레코드 생성과 입력 스토리지로 수집 사이의 지연에 대한 백분위수 | 적시성 | 처리됨 |
| 수집된 데이터와 처리된 데이터 간의 지연에 대한 백분위수 | 적시성 | 처리됨 |
| 처리된 데이터와 쿼리에 사용할 수 있는 데이터 간의 지연에 대한 백분위수 | 적시성 | 처리됨 |
| 구체화된 뷰 모니터링 | 적시성 | 처리됨 |
사용자 지정 데이터 품질 메트릭은 데이터 제품별로 구현됩니다. 이러한 메트릭은 정확도 및 일관성 차원과 관련됩니다. 데이터 제품 설명서에는 사용 가능한 사용자 지정 품질 메트릭에 대한 설명이 포함되어 있습니다.
모니터링
모든 Azure Operator Insight 데이터 제품은 품질 메트릭을 보여 주는 대시보드와 함께 배포됩니다. 대시보드를 사용하여 데이터의 품질을 모니터링할 수 있습니다.
모든 데이터 품질 메트릭은 Data Product ADX 테이블에 저장됩니다. 데이터 품질 메트릭을 탐색하기 위해 표준 데이터 제품 KQL 엔드포인트를 사용한 다음 필요한 경우 대시보드를 확장할 수 있습니다.