Data Quality Services 소개Introduction to Data Quality Services

DQS( Data Quality ServicesData Quality Services )에서 제공되는 데이터 품질 솔루션을 통해 데이터 관리자 또는 IT 전문가는 데이터의 품질을 유지 관리하고 데이터가 비즈니스 용도에 적합한지 보장할 수 있습니다.The data-quality solution provided by Data Quality ServicesData Quality Services (DQS) enables a data steward or IT professional to maintain the quality of their data and ensure that the data is suited for its business usage. DQS는 컴퓨터 기반 방식과 대화형 방식 모두를 사용하여 데이터 원본의 무결성과 품질을 관리할 수 있게 해주는 지식 기반 솔루션입니다.DQS is a knowledge-driven solution that provides both computer-assisted and interactive ways to manage the integrity and quality of your data sources. DQS를 사용하면 데이터에 대한 지식을 검색, 구축 및 관리할 수 있습니다.DQS enables you to discover, build, and manage knowledge about your data. 그런 후 이러한 지식을 사용하여 데이터 정리, 일치 및 프로파일링을 수행할 수 있습니다.You can then use that knowledge to perform data cleansing, matching, and profiling. 또한 DQS 데이터 품질 프로젝트에서 참조 데이터 공급자의 클라우드 기반 서비스를 활용할 수도 있습니다.You can also leverage the cloud-based services of reference data providers in a DQS data-quality project.

DQS에 대한 비즈니스 요구 사항The Business Need for DQS

잘못된 데이터는 사용자가 잘못 입력했거나, 전송 또는 저장 과정에서 손상되었거나, 데이터 사전 정의가 일치하지 않을 때 및 기타 데이터 품질 및 프로세스 문제로 인해 나타날 수 있습니다.Incorrect data can result from user entry errors, corruption in transmission or storage, mismatched data dictionary definitions, and other data quality and process issues. 서로 다른 데이터 표준을 사용하는 여러 원본의 데이터를 집계할 때는 임의적인 규칙을 적용하거나 내역 데이터를 덮어 쓸 수 있으므로 일관적이지 않은 데이터를 얻게 될 수 있습니다.Aggregating data from different sources that use different data standards can result in inconsistent data, as can applying an arbitrary rule or overwriting historical data. 잘못된 데이터가 있으면 기업이 본연의 비즈니스 기능을 수행하고 고객에게 서비스를 제공하는 데 영향이 있을 수 있으며 이로 인해 신용 및 수익 손실, 고객 불만족 및 규정 준수 문제를 초래할 수 있습니다.Incorrect data affects the ability of a business to perform its business functions and to provide services to its customers, resulting in a loss of credibility and revenue, customer dissatisfaction, and compliance issues. 또한 자동화된 시스템은 잘못된 데이터를 사용할 경우 작동하지 않는 경우가 많으며, 잘못된 데이터로 인해 수동으로 프로세스를 수행하느라 시간과 인력을 낭비하게 됩니다.Automated systems often do not work with incorrect data, and bad data wastes the time and energy of people performing manual processes. 잘못된 데이터는 데이터 분석, 보고, 데이터 마이닝 및 웨어하우징과 관련된 문제를 유발할 수 있습니다.Incorrect data can wreak havoc with data analysis, reporting, data mining, and warehousing.

고품질 데이터는 사업체 및 기관의 업무 효율을 위한 핵심 요소입니다.High-quality data is critical to the efficiency of businesses and institutions. 어떤 규모의 조직이라도 DQS를 활용하여 자신의 데이터가 갖는 정보 가치를 향상시키고 데이터를 의도한 용도에 맞게 적합하게 만들 수 있습니다.An organization of any size can use DQS to improve the information value of its data, making the data more suitable for its intended use. 데이터 품질 솔루션은 데이터를 보다 안정적이고, 액세스할 수 있으며, 다시 사용할 수 있도록 만듭니다.A data quality solution can make data more reliable, accessible, and reusable. 이러한 솔루션은 비즈니스 인텔리전스 또는 데이터 웨어하우스 작업뿐만 아니라 OLTP 작업 시스템에서 잘못된 데이터로 인해 발생하는 문제를 해결하여 데이터의 완전성, 정확성, 준수성 및 일관성을 향상시킬 수 있습니다.It can improve the completeness, accuracy, conformity, and consistency of your data, resolving problems caused by bad data in business intelligence or data warehouse workloads, as well as in operational OLTP systems.

DQS를 사용하면 데이터베이스 전문가 또는 프로그래머가 아니라도 비즈니스 사용자, 정보 근로자 또는 IT 전문가가 최소한의 설정 및 준비 시간만으로 조직의 데이터 품질 작업을 만들고, 유지 관리 및 실행할 수 있습니다.DQS enables a business user, information worker, or IT professional who is neither a database expert nor a programmer to create, maintain, and execute their organization’s data quality operations with minimal setup or preparation time.

DQS의 요구 사항 답변Answering that Need with DQS

데이터 품질이란 절대적인 가치를 갖는 특정 용어로 정의되지 않습니다.Data quality is not defined in absolute terms. 데이터 품질은 해당 데이터가 의도한 목적에 대해 적합한지 여부에 따라 달라집니다.It depends upon whether data is appropriate for the purpose for which it is intended. DQS는 잠재적으로 잘못된 데이터를 식별하고 해당 데이터가 실제로 잘못되었을 가능성에 대한 평가 결과를 사용자에게 제공합니다.DQS identifies potentially incorrect data, and provides you with an assessment of the likelihood that the data is in fact incorrect. DQS는 사용자가 데이터의 적합성을 결정할 수 있도록 해당 데이터에 대한 체계적인 이해를 돕습니다.DQS provides you with a semantic understanding of the data so you can decide its appropriateness. DQS를 사용하면 불완전성, 준수성 부족, 비일관성, 부정확성, 부적합성 및 데이터 중복성과 관련된 문제를 해결할 수 있습니다.DQS enables you to resolve issues involving incompleteness, lack of conformity, inconsistency, inaccuracy, invalidity, and data duplication.

DQS는 데이터 품질 문제 해결을 위해 다음과 같은 기능을 제공합니다.DQS provides the following features to resolve data quality issues.

  • 데이터 정리: 컴퓨터 기반 및 대화형 프로세스를 사용하여 잘못되었거나 완전하지 않은 데이터를 수정, 제거 또는 강화합니다.Data Cleansing: the modification, removal, or enrichment of data that is incorrect or incomplete, using both computer-assisted and interactive processes. 자세한 내용은 Data Cleansing을 참조하세요.For more information, see Data Cleansing.

  • 일치: 규칙 기반 프로세스의 의미적인 중복 항목의 식별을 통해 일치 항목을 확인하고 중복 제거를 수행할 수 있습니다.Matching: the identification of semantic duplicates in a rules-based process that enables you to determine what constitutes a match and perform de-duplication. 자세한 내용은 Data Matching을 참조하세요.For more information, see Data Matching.

  • 참조 데이터 서비스: 참조 데이터 공급자의 서비스를 사용하여 데이터의 품질을 확인합니다.Reference Data Services: verification of the quality of your data using the services of a reference data provider. Microsoft Azure Marketplace에서 참조 데이터 서비스를 사용하여 데이터를 정리, 유효성 검사, 일치 및 강화할 수 있습니다.You can use reference data services from Microsoft Azure Marketplace to cleanse, validate, match, and enrich data. 자세한 내용은 Reference Data Services in DQS을 참조하세요.For more information, see Reference Data Services in DQS.

  • 프로파일링: 데이터 원본의 분석을 통해 기술 자료 검색, 도메인 관리, 일치 및 데이터 정리 프로세스의 모든 단계에서 데이터의 품질에 대한 이해력을 제공합니다.Profiling: the analysis of a data source to provide insight into the quality of the data at every stage in the knowledge discovery, domain management, matching, and data cleansing processes. 프로파일링은 DQS 데이터 품질 솔루션의 강력한 도구입니다.Profiling is a powerful tool in a DQS data quality solution. 프로파일링이 지식 관리, 일치 또는 데이터 정리만큼 중요한 데이터 품질 솔루션을 만들 수 있습니다.You can create a data quality solution in which profiling is just as important as knowledge management, matching, or data cleansing. 자세한 내용은 Data Profiling and Notifications in DQS을 참조하세요.For more information, see Data Profiling and Notifications in DQS.

  • 모니터링: 데이터 품질 활동의 상태를 추적 및 결정합니다.Monitoring: the tracking and determination of the state of data quality activities. 모니터링을 사용하면 데이터 품질 솔루션이 원래 의도한 기능을 수행하는지 확인할 수 있습니다.Monitoring enables you to verify that your data quality solution is doing what it was designed to do. 자세한 내용은 DQS Administration을 참조하세요.For more information, see DQS Administration.

  • 기술 자료: Data Quality Services는 DQS에서 구축한 지식에 따라 데이터를 분석하는 지식 기반 솔루션입니다.Knowledge Base: Data Quality Services is a knowledge-driven solution that analyzes data based upon knowledge that you build with DQS. 이를 통해 사용자는 데이터에 대한 지식을 지속적으로 강화하는 데이터 품질 프로세스를 만들고 이렇게 함으로써 데이터의 품질을 지속적으로 향상시킬 수 있습니다.This enables you to create data quality processes that continually enhances the knowledge about your data and in so doing, continually improves the quality of your data.

    다음 그림은 DQS 프로세스를 보여 줍니다.The following illustration displays the DQS process:

    DQS 프로세스DQS Process

기술 자료 기반 솔루션A Knowledge-Driven Solution

DQS 기술 자료는 즉시 사용 가능한 지식, Data Quality 서버Data Quality Server로 생성된 지식 및 사용자가 생성한 지식의 세 가지 지식 유형의 리포지토리입니다.The DQS knowledge base is a repository of three types of knowledge: out-of-the-box knowledge, knowledge generated by Data Quality 서버Data Quality Server, and knowledge generated by the user. DQS를 사용하면 기술 자료에서 데이터에 대한 지식을 저장하고, 비즈니스 규칙을 추가하고, 필요에 따라 지식을 수정한 후, 이를 적용하여 데이터의 무결성 및 정확성을 테스트할 수 있습니다.DQS enables you to store knowledge about your data in the knowledge base, add business rules and modify the knowledge as you see fit, and then apply it to test the integrity and correctness of the data. 기술 자료를 구축한 후에는 지속적으로 이를 향상시키고 여러 데이터 품질 향상 프로세스에서 다시 사용할 수 있습니다.After you build the knowledge base, you can continuously improve it, and then reuse it in multiple data-quality improvement processes.

기술 자료의 지식은 잠재적으로 잘못된 데이터를 식별하고 데이터에 대한 변경 사항을 제안합니다.Knowledge in a knowledge base identifies potentially incorrect data and proposes changes to the data. 지식은 데이터 일치를 찾아서 데이터 중복 제거를 수행할 수 있도록 해줍니다.It can find data matches, enabling you to perform data deduplication. 또한 원본 데이터를 데이터 품질 공급자가 유지 관리하고 보증하는 클라우드 기반 참조 데이터와 비교할 수 있습니다.It can compare source data with cloud-based reference data maintained and guaranteed by data quality providers. 데이터 관리자 또는 IT 전문가는 기술 자료의 지식과 데이터에 대해 적용할 변경 사항을 모두 확인하고 정리, 중복 제거 및 참조 데이터 서비스를 실행합니다.The data steward or IT professional verifies both the knowledge in the knowledge base and the changes to be made to the data, and executes the cleansing, deduplication, and reference data services.

기술 자료는 특정 유형의 데이터 원본과 관련된 모든 지식을 저장합니다.A knowledge base stores all the knowledge related to a specific type of data source. 예를 들어 고객 데이터베이스에 대해 하나의 기술 자료를 유지 관리하고 직원 데이터베이스에 대해 다른 기술 자료를 유지 관리할 수 있습니다.For example, you could maintain one knowledge base for a customer database and another knowledge base for an employee database. 지식은 하나 이상의 데이터 도메인에 포함되며, 각 데이터 도메인은 데이터 필드에서 한 유형의 데이터를 의미 체계에 따라 표현한 것입니다.Knowledge is contained in one or more data domains, each of which is a semantic representation of a type of data in a data field. 고객 데이터베이스에 대한 기술 자료는 회사 이름, 주소, 담당자, 연락 정보 등에 대한 도메인을 포함할 수 있습니다.A knowledge base for a customer database may have domains for company names, addresses, contacts, contact information, and so on. 도메인은 신뢰할 수 있는 값, 잘못된 값 및 오류가 있는 데이터 목록을 포함합니다.A domain contains a list of trusted values, invalid values, and erroneous data. 도메인 지식에는 동의어 연관, 용어 관계, 유효성 검사 및 비즈니스 규칙, 일치 정책이 포함됩니다.Domain knowledge includes synonym associations, term relationships, validation and business rules, and matching policies. 이러한 지식으로 무장된 데이터 관리자는 한 도메인의 특정 값을 수정할지 여부를 합리적으로 결정할 수 있습니다.Armed with this knowledge, the data steward can make an informed decision about whether to correct specific instances of the values in a domain.

DQS를 사용하면 기술 자료에 대한 가져오기 및 내보내기 작업을 수행할 수 있습니다.DQS enables you to perform import and export operations with a knowledge base. DQS 파일을 사용하여 도메인 또는 기술 자료를 가져오거나 내보낼 수 있습니다.You can import or export domains or knowledge bases using a DQS file. Excel 파일에서 값 또는 도메인을 가져올 수 있습니다.You can import values or domains from an Excel file. 또한 기술 자료를 기반으로 정리 프로세스로 찾은 값을 도메인으로 다시 가져올 수도 있습니다.You can also import values that have been found by a cleansing process based on the knowledge base back into a domain. 이러한 작업을 통해 기술 자료를 지속적으로 향상시키고 의사 결정 및 검색을 통해 얻은 지식을 다시 기술 자료로 되돌릴 수 있습니다.These operations enable you to continually improve a knowledge base, making sure that knowledge gained through decisions and discoveries are routed back into the knowledge base.

DQS 기술 자료 기반 솔루션에서는 다음과 같은 두 가지 기본 단계를 사용하여 데이터를 정리합니다.The DQS knowledge-driven solution uses two fundamental steps to cleanse data:

DQS 구성 요소DQS Components

Data Quality Services는 Data Quality 서버Data Quality ServerData Quality 클라이언트Data Quality Client로 구성됩니다.Data Quality Services consists of Data Quality 서버Data Quality Server and Data Quality 클라이언트Data Quality Client. 이러한 구성 요소를 통해 다른 SQL Server 작업과 별도로 Data Quality Services를 수행할 수 있습니다.These components enable you to perform data quality services separately from other SQL Server operations. 이 둘은 모두 SQL Server 설치 프로그램 내에서 설치됩니다.Both are installed from within the SQL Server setup program.

Data Quality 서버Data Quality Server 는 SQL Server Management Studio에서 관리 및 모니터링할 수 있는 세 가지 SQL Server 카탈로그(DQS_MAIN, DQS_PROJECTS 및 DQS_STAGING_DATA)로 구현됩니다. is implemented as three SQL Server catalogs that you can manage and monitor in the SQL Server Management Studio (DQS_MAIN, DQS_PROJECTS, and DQS_STAGING_DATA). DQS_MAIN에는 DQS 저장 프로시저, DQS 엔진 및 게시된 기술 자료가 포함됩니다.DQS_MAIN includes DQS stored procedures, the DQS engine, and published knowledge bases. DQS_PROJECTS에는 지식 기반 관리와 DQS 프로젝트 작업에 필요한 데이터가 포함됩니다.DQS_PROJECTS includes data that is required for knowledge base management and DQS project activities. DQS_STAGING_DATA는 DQS 작업을 수행하기 위해 원본 데이터를 복사한 다음 처리된 데이터를 내보낼 수 있는 중간 준비 데이터베이스를 제공합니다.DQS_STAGING_DATA provides an intermediate staging database where you can copy your source data to perform DQS operations, and then export your processed data.

Data Quality 클라이언트Data Quality Client 는 지식 관리, 데이터 품질 프로젝트 및 관리를 하나의 사용자 인터페이스로 수행할 수 있게 해주는 독립형 실행형 응용 프로그램입니다. is a standalone application that enables you to perform knowledge management, data quality projects, and administration in one user interface. 이 응용 프로그램은 데이터 관리자 및 DQS 관리자 모두를 위해 디자인되었습니다.The application is designed for both data stewards and DQS administrators. 이 응용 프로그램은 기술 자료 검색, 도메인 관리, 일치 정책 만들기, 데이터 정리, 일치, 프로파일링, 모니터링 및 서버 관리를 수행하는 독립 실행형 실행 파일입니다.It is a stand-alone executable file that performs knowledge discovery, domain management, matching policy creation, data cleansing, matching, profiling, monitoring, and server administration. Data Quality 클라이언트Data Quality ClientData Quality 서버Data Quality Server 와 동일한 컴퓨터에 설치하여 실행하거나 별도의 컴퓨터에 원격으로 설치하여 실행할 수 있습니다. can be installed and run on the same computer as Data Quality 서버Data Quality Server or remotely on a separate computer. Data Quality 클라이언트Data Quality Client 의 여러 작업은 쉽게 사용할 수 있도록 마법사 기반으로 제공됩니다.Many operations in Data Quality 클라이언트Data Quality Client are wizard-driven for ease of use.

Integration Services 및 MDS(Master Data Services)의 데이터 품질 기능Data Quality Functionality in Integration Services and Master Data Services

Data Quality Services에서 제공되는 데이터 품질 기능은 SSIS(SQL Server Integration Services)의 구성 요소 및 MDS(Master Data Services)의 기능에 포함되어 해당 서비스 내에서 데이터 품질 프로세스를 수행할 수 있게 해줍니다.Data quality functionality provided by Data Quality Services is built into a component of SQL Server Integration Services (SSIS) and into features of Master Data Services (MDS) to enable you to perform data quality processes within those services.

Integration Services의 DQS 정리 구성 요소DQS Cleansing component in Integration Services

Integration Services의 DQS 정리 구성 요소DQS Cleansing component in Integration Services 에서는 Integration Services 패키지의 일부로 데이터 정리를 수행할 수 있습니다.The Integration Services의 DQS 정리 구성 요소DQS Cleansing component in Integration Services enables you to perform data cleansing as part of an Integration Services package. 패키지를 실행하면 데이터 정리가 일괄 처리 파일로 실행됩니다.When the package is run, data cleansing is run as a batch file. 이러한 방식은 Data Quality 클라이언트Data Quality Client 응용 프로그램에서 정리 프로젝트를 실행하는 작업의 대안입니다.This is an alternative to running a cleansing project in the Data Quality 클라이언트Data Quality Client application. 데이터 품질을 자동으로 보장할 수 있습니다.You can ensure the quality of your data automatically. Data Quality 클라이언트Data Quality Client 응용 프로그램 내에서 데이터 정리 프로젝트의 대화형 단계를 수행할 필요가 없습니다.You do not have to perform the interactive steps of a data cleansing project within the Data Quality 클라이언트Data Quality Client application. 다른 Integration Services 구성 요소가 포함된 데이터 흐름 내에 데이터 정리 프로세스를 포함할 수 있습니다.You can include the data cleansing process within a data flow that contains other Integration Services components. 자세한 내용은 DQS 정리 변환을 참조하세요.For more information, see DQS Cleansing Transformation.

MDS(Master Data Services)의 데이터 품질 프로세스Data Quality Processes in Master Data Services

Data Quality Services 기능은 Microsoft Excel용 Microsoft SQL Server 2014 Master Data Services 추가 기능 내에서 원본 데이터 및 마스터 데이터에 대해 중복 제거를 수행할 수 있도록 MDS(Master Data Services)에 통합되어 있습니다.Data Quality Services functionality has been integrated into Master Data Services (MDS), so you can perform de-duplication on source data and master data within the Microsoft SQL Server 2014 Master Data Services Add-in for Microsoft Excel. 일치를 수행하려면 MDS에서 관리되는 데이터를 Excel 워크시트로 로드하고, 이를 MDS에서 관리되지 않는 데이터와 조합한 다음, Excel 내에서 일치를 수행합니다.To perform matching, load data managed by MDS into an Excel worksheet, combine it with data not managed by MDS, and then perform matching within Excel. MDS와 함께 Data Quality 서버Data Quality Server 구성 요소를 설치해야 합니다.The Data Quality 서버Data Quality Server components must be installed with MDS. 자세한 내용은 Excel용 MDS 추가 기능의 데이터 품질 일치를 참조하세요.For more information, see Data Quality Matching in the MDS Add-in for Excel.