Data Quality Services 소개

아티클
08/21/2023

적용 대상:SQL Server

DQS(Data Quality Services)에서 제공하는 데이터 품질 솔루션을 사용하면 데이터 관리자 또는 IT 전문가가 데이터의 품질을 유지하고 데이터가 비즈니스 사용에 적합한지 확인할 수 있습니다. DQS는 데이터 원본의 무결성과 품질을 관리하는 컴퓨터 지원 및 대화형 방법을 모두 제공하는 기술 기반 솔루션입니다. DQS를 사용하면 데이터에 대한 지식을 검색, 빌드 및 관리할 수 있습니다. 그런 후 이러한 지식을 사용하여 데이터 정리, 일치 및 프로파일링을 수행할 수 있습니다. 또한 DQS 데이터 품질 프로젝트에서 참조 데이터 공급자의 클라우드 기반 서비스를 활용할 수도 있습니다.

DQS에 대한 비즈니스 요구 사항

잘못된 데이터는 사용자 입력 오류, 전송 또는 스토리지 손상, 일치하지 않는 데이터 사전 정의 및 기타 데이터 품질 및 프로세스 문제로 인해 발생할 수 있습니다. 다른 데이터 표준을 사용하는 다른 원본의 데이터를 집계하면 임의 규칙을 적용하거나 기록 데이터를 덮어쓸 수 있으므로 일관성 없는 데이터가 발생할 수 있습니다. 잘못된 데이터가 있으면 기업이 본연의 비즈니스 기능을 수행하고 고객에게 서비스를 제공하는 데 영향이 있을 수 있으며 이로 인해 신용 및 수익 손실, 고객 불만족 및 규정 준수 문제를 초래할 수 있습니다. 또한 자동화된 시스템은 잘못된 데이터를 사용할 경우 작동하지 않는 경우가 많으며, 잘못된 데이터로 인해 수동으로 프로세스를 수행하느라 시간과 인력을 낭비하게 됩니다. 잘못된 데이터는 데이터 분석, 보고, 데이터 마이닝 및 웨어하우징으로 인해 혼란을 야기할 수 있습니다.

고품질 데이터는 비즈니스 및 기관의 효율성에 매우 중요합니다. 어떤 규모의 조직이라도 DQS를 활용하여 자신의 데이터가 갖는 정보 가치를 향상시키고 데이터를 의도한 용도에 맞게 적합하게 만들 수 있습니다. 데이터 품질 솔루션은 데이터를 보다 안정적이고, 액세스할 수 있으며, 다시 사용할 수 있도록 만듭니다. 이러한 솔루션은 비즈니스 인텔리전스 또는 데이터 웨어하우스 작업뿐만 아니라 OLTP 작업 시스템에서 잘못된 데이터로 인해 발생하는 문제를 해결하여 데이터의 완전성, 정확성, 준수성 및 일관성을 향상시킬 수 있습니다.

DQS를 사용하면 데이터베이스 전문가나 프로그래머가 아니어도 비즈니스 사용자, 정보 근로자 또는 IT 전문가가 최소한의 설정 또는 준비 시간으로 조직의 데이터 품질 작업을 만들고 유지 관리하고 실행할 수 있습니다.

DQS를 사용하여 해당 요구 사항에 대한 답변

데이터 품질은 절대적인 용어로 정의되지 않습니다. 데이터가 의도된 목적에 적합한지 여부에 따라 달라집니다. DQS는 잠재적으로 잘못된 데이터를 식별하고 데이터가 실제로 올바르지 않은 가능성에 대한 평가를 제공합니다. DQS는 데이터의 적합성을 결정할 수 있도록 데이터에 대한 의미 체계적 이해를 제공합니다. DQS를 사용하면 불완전성, 적합성 부족, 불일치, 부정확성, 무효 및 데이터 중복과 관련된 문제를 해결할 수 있습니다.

DQS는 데이터 품질 문제를 해결하기 위해 다음과 같은 기능을 제공합니다.

데이터 정리: 컴퓨터 지원 프로세스와 대화형 프로세스를 모두 사용하여 올바르지 않거나 불완전한 데이터의 수정, 제거 또는 보강 자세한 내용은 데이터 정리를 참조 하세요.
일치: 일치를 구성하는 항목을 확인하고 중복 제거를 수행할 수 있는 규칙 기반 프로세스에서 의미 체계 중복을 식별합니다. 자세한 내용은 데이터 일치를 참조 하세요.
참조 데이터 서비스: 참조 데이터 공급자의 서비스를 사용하여 데이터의 품질을 확인합니다. Microsoft Azure Marketplace의 참조 데이터 서비스를 사용하여 데이터를 정리, 유효성 검사, 일치 및 보강할 수 있습니다. 자세한 내용은 Reference Data Services in DQS을 참조하세요.
프로파일링: 데이터 원본을 분석하여 지식 검색, 도메인 관리, 일치 및 데이터 정리 프로세스의 모든 단계에서 데이터의 품질에 대한 인사이트를 제공합니다. 프로파일링은 DQS 데이터 품질 솔루션의 강력한 도구입니다. 프로파일링이 지식 관리, 일치 또는 데이터 정리만큼 중요한 데이터 품질 솔루션을 만들 수 있습니다. 자세한 내용은 DQS의 데이터 프로파일링 및 알림을 참조 하세요.
모니터링: 데이터 품질 활동의 상태를 추적 및 결정합니다. 모니터링을 사용하면 데이터 품질 솔루션이 설계한 작업을 수행하고 있는지 확인할 수 있습니다. 자세한 내용은 DQS Administration을 참조하세요.
기술 자료: Data Quality Services는 DQS를 사용하여 빌드한 지식을 기반으로 데이터를 분석하는 기술 기반 솔루션입니다. 이를 통해 사용자는 데이터에 대한 지식을 지속적으로 강화하는 데이터 품질 프로세스를 만들고 이렇게 함으로써 데이터의 품질을 지속적으로 향상시킬 수 있습니다.

다음 그림에서는 DQS 프로세스를 표시합니다.

DQS Process

기술 자료 기반 솔루션

DQS 기술 자료는 기본 지식, Data Quality Server에서 생성된 지식 및 사용자가 생성한 지식의 세 가지 유형의 지식으로 구성된 리포지토리입니다. DQS를 사용하면 데이터에 대한 지식을 기술 자료에 저장하고, 비즈니스 규칙을 추가하고, 필요에 따라 지식을 수정한 다음, 적용하여 데이터의 무결성과 정확성을 테스트할 수 있습니다. 기술 자료를 빌드한 후 지속적으로 개선한 다음 여러 데이터 품질 개선 프로세스에서 다시 사용할 수 있습니다.

기술 자료의 지식은 잠재적으로 잘못된 데이터를 식별하고 데이터에 대한 변경 사항을 제안합니다. 지식은 데이터 일치를 찾아서 데이터 중복 제거를 수행할 수 있도록 해줍니다. 원본 데이터를 데이터 품질 공급자가 유지 관리하고 보장하는 클라우드 기반 참조 데이터와 비교할 수 있습니다. 데이터 관리자 또는 IT 전문가는 기술 자료에 대한 지식과 데이터에 대한 변경 내용을 모두 확인하고 정리, 중복 제거 및 참조 데이터 서비스를 실행합니다.

기술 자료는 특정 유형의 데이터 원본과 관련된 모든 지식을 저장합니다. 예를 들어 고객 데이터베이스에 대한 기술 자료 하나와 직원 데이터베이스에 대한 다른 기술 자료를 유지 관리할 수 있습니다. 지식은 하나 이상의 데이터 도메인에 포함되며, 각 데이터 도메인은 데이터 필드에서 한 유형의 데이터를 의미 체계에 따라 표현한 것입니다. 고객 데이터베이스에 대한 기술 자료는 회사 이름, 주소, 담당자, 연락 정보 등에 대한 도메인을 포함할 수 있습니다. 도메인은 신뢰할 수 있는 값, 잘못된 값 및 오류가 있는 데이터 목록을 포함합니다. 도메인 지식에는 동의어 연관, 용어 관계, 유효성 검사 및 비즈니스 규칙, 일치 정책이 포함됩니다. 이 지식으로 무장한 데이터 관리자는 도메인의 특정 값 인스턴스를 수정할지 여부에 대해 정보에 입각한 결정을 내릴 수 있습니다.

DQS를 사용하면 기술 자료에 대한 가져오기 및 내보내기 작업을 수행할 수 있습니다. DQS 파일을 사용하여 도메인 또는 기술 자료를 가져오거나 내보낼 수 있습니다. Excel 파일에서 값 또는 도메인을 가져올 수 있습니다. 또한 기술 자료를 기반으로 정리 프로세스로 찾은 값을 도메인으로 다시 가져올 수도 있습니다. 이러한 작업을 통해 기술 자료를 지속적으로 개선하여 의사 결정 및 검색을 통해 얻은 지식이 기술 자료로 다시 라우팅되도록 할 수 있습니다.

DQS 기술 기반 솔루션은 두 가지 기본 단계를 사용하여 데이터를 정리합니다.

기술 자료를 빌드하는 기술 관리 프로세스
기술 자료의 지식을 기반으로 원본 데이터에 대한 변경 내용을 제시하는 데이터 품질 프로젝트

자세한 내용은 DQS 기술 자료 및 도메인 및 DQS(데이터 품질 프로젝트)를 참조하세요.

DQS 구성 요소

Data Quality Services는 Data Quality 서버 및 Data Quality 클라이언트로 구성됩니다. 이러한 구성 요소를 사용하면 다른 SQL Server 작업과 별도로 데이터 품질 서비스를 수행할 수 있습니다. 이 둘은 모두 SQL Server 설치 프로그램 내에서 설치됩니다.

Data Quality Server는 SQL Server Management Studio(DQS_MAIN, DQS_PROJECTS 및 DQS_STAGING_DATA)에서 관리하고 모니터링할 수 있는 세 가지 SQL Server 카탈로그로 구현됩니다. DQS_MAIN DQS 저장 프로시저, DQS 엔진 및 게시된 기술 자료가 포함됩니다. DQS_PROJECTS 기술 자료 관리 및 DQS 프로젝트 활동에 필요한 데이터를 포함합니다. DQS_STAGING_DATA 원본 데이터를 복사하여 DQS 작업을 수행한 다음 처리된 데이터를 내보낼 수 있는 중간 준비 데이터베이스를 제공합니다.

Data Quality Client는 하나의 사용자 인터페이스에서 지식 관리, 데이터 품질 프로젝트 및 관리를 수행할 수 있는 독립 실행형 애플리케이션입니다. 이 애플리케이션은 데이터 관리자 및 DQS 관리자 모두를 위해 디자인되었습니다. 기술 자료 검색, 도메인 관리, 일치 정책 만들기, 데이터 정리, 일치, 프로파일링, 모니터링 및 서버 관리를 수행하는 독립 실행형 실행 파일입니다. Data Quality 클라이언트는 Data Quality Server와 동일한 컴퓨터 또는 별도의 컴퓨터에서 원격으로 설치하고 실행할 수 있습니다. Data Quality 클라이언트의 많은 작업은 쉽게 사용할 수 있는 마법사 기반입니다.

Integration Services 및 Master Data Services의 데이터 품질 기능

Data Quality Services에서 제공하는 데이터 품질 기능은 SSIS(SQL Server Integration Services)의 구성 요소와 MDS(Master Data Services)의 기능으로 기본 제공되므로 이러한 서비스 내에서 데이터 품질 프로세스를 수행할 수 있습니다.

Integration Services의 DQS 정리 구성 요소

Integration Services의 DQS 정리 구성 요소를 사용하면 Integration Services 패키지의 일부로 데이터 정리를 수행할 수 있습니다. 패키지를 실행하면 데이터 정리가 일괄 처리 파일로 실행됩니다. Data Quality 클라이언트 애플리케이션에서 정리 프로젝트를 실행하는 대신 사용할 수 있습니다. 데이터의 품질을 자동으로 보장할 수 있습니다. Data Quality 클라이언트 애플리케이션 내에서 데이터 정리 프로젝트의 대화형 단계를 수행할 필요가 없습니다. 다른 Integration Services 구성 요소가 포함된 데이터 흐름 내에 데이터 정리 프로세스를 포함할 수 있습니다. 자세한 내용은 DQS 정리 변환을 참조하세요.

Master Data Services의 데이터 품질 프로세스

Data Quality Services 기능은 MDS(Master Data Services)에 통합되었으므로 Microsoft Excel용 Microsoft SQL Server 2014 Master Data Services 추가 기능 내에서 원본 데이터 및 마스터 데이터에 중복 제거를 수행할 수 있습니다. 일치를 수행하려면 MDS에서 관리되는 데이터를 Excel 워크시트로 로드하고, 이를 MDS에서 관리되지 않는 데이터와 조합한 다음, Excel 내에서 일치를 수행합니다. Data Quality Server 구성 요소는 MDS와 함께 설치해야 합니다. 자세한 내용은 Excel용 MDS 추가 기능에서 데이터 품질 일치를 참조 하세요.