Introduzione a Data Quality ServicesIntroduction to Data Quality Services

La soluzione per la qualità dei dati fornita da Data Quality ServicesData Quality Services (DQS) consente a un amministratore dei dati o un professionista IT di mantenere la qualità dei dati gestiti e assicurarne l'appropriatezza per l'utilizzo aziendale.The data-quality solution provided by Data Quality ServicesData Quality Services (DQS) enables a data steward or IT professional to maintain the quality of their data and ensure that the data is suited for its business usage. DQS è una soluzione basata sulle informazioni che offre modalità assistite da computer e interattive per gestire l'integrità e la qualità delle origini dati.DQS is a knowledge-driven solution that provides both computer-assisted and interactive ways to manage the integrity and quality of your data sources. DQS consente di individuare, compilare e gestire informazioni sui dati.DQS enables you to discover, build, and manage knowledge about your data. È quindi possibile utilizzare tali informazioni per eseguire la pulizia, la corrispondenza e il profiling dei dati.You can then use that knowledge to perform data cleansing, matching, and profiling. È inoltre possibile utilizzare i servizi basati su cloud di provider di dati di riferimento in un progetto Data Quality DQS.You can also leverage the cloud-based services of reference data providers in a DQS data-quality project.

Utilità di una soluzione DQS in ambito aziendaleThe Business Need for DQS

Dati errati possono essere il risultato di errori di immissione da parte dell'utente, danni subiti durante la trasmissione o l'archiviazione, definizioni del dizionario dei dati non corrispondenti o altri problemi legati alla qualità e all'elaborazione dei dati.Incorrect data can result from user entry errors, corruption in transmission or storage, mismatched data dictionary definitions, and other data quality and process issues. L'aggregazione di dati derivati da diverse origini in cui vengono utilizzati standard di dati diversi può causare l'incoerenza dei dati stessi. Lo stesso problema può essere provocato dall'applicazione di regole arbitrarie o dalla sovrascrittura di dati cronologici.Aggregating data from different sources that use different data standards can result in inconsistent data, as can applying an arbitrary rule or overwriting historical data. I dati errati possono influire sulla capacità di un'organizzazione di eseguire le funzioni aziendali e di fornire servizi ai clienti, comportando perdita di credibilità e di affari, insoddisfazione dei clienti e problemi di conformità.Incorrect data affects the ability of a business to perform its business functions and to provide services to its customers, resulting in a loss of credibility and revenue, customer dissatisfaction, and compliance issues. I dati errati spesso non permettono il corretto funzionamento dei sistemi automatizzati e si traducono in spreco di tempo ed energia degli addetti ai processi manuali.Automated systems often do not work with incorrect data, and bad data wastes the time and energy of people performing manual processes. Dati errati possono causare seri problemi nelle attività di analisi dei dati, generazione di report, data mining e data warehousing.Incorrect data can wreak havoc with data analysis, reporting, data mining, and warehousing.

L'elevata qualità dei dati è di importanza critica per l'efficienza di aziende private e istituzioni pubbliche.High-quality data is critical to the efficiency of businesses and institutions. DQS può essere utilizzato da organizzazioni di qualsiasi dimensione per migliorare il valore dei propri dati, rendendoli più adatti all'utilizzo previsto.An organization of any size can use DQS to improve the information value of its data, making the data more suitable for its intended use. Una soluzione per la qualità dei dati può rendere i dati più affidabili, accessibili e riutilizzabili.A data quality solution can make data more reliable, accessible, and reusable. Può migliorare la completezza, l'accuratezza, la conformità e la coerenza dei dati, risolvendo i problemi causati dai dati errati nei carichi di lavoro di business intelligence o data warehousing, così come nei sistemi OLTP operativi.It can improve the completeness, accuracy, conformity, and consistency of your data, resolving problems caused by bad data in business intelligence or data warehouse workloads, as well as in operational OLTP systems.

Una soluzione DQS consente a utenti aziendali, Information Worker o professionisti IT, non necessariamente esperti di database o di programmazione, di creare, gestire ed eseguire operazioni relative alla qualità dei dati dell'organizzazione con un tempo di preparazione o configurazione minimo.DQS enables a business user, information worker, or IT professional who is neither a database expert nor a programmer to create, maintain, and execute their organization’s data quality operations with minimal setup or preparation time.

DQS è la risposta alle esigenze di qualità dei datiAnswering that Need with DQS

La qualità dei dati non è definibile in termini assoluti.Data quality is not defined in absolute terms. Dipende dal fatto che i dati siano o meno appropriati allo scopo designato.It depends upon whether data is appropriate for the purpose for which it is intended. Con DQS i dati potenzialmente errati vengono identificati e viene fornita una valutazione della probabilità che siano effettivamente errati.DQS identifies potentially incorrect data, and provides you with an assessment of the likelihood that the data is in fact incorrect. DQS fornisce un'illustrazione semantica dei dati che consente di decidere se siano appropriati.DQS provides you with a semantic understanding of the data so you can decide its appropriateness. Grazie a DQS è possibile risolvere problemi di incompletezza, mancanza di conformità, incoerenza, imprecisione, mancanza di validità e duplicazione dei dati.DQS enables you to resolve issues involving incompleteness, lack of conformity, inconsistency, inaccuracy, invalidity, and data duplication.

DQS include le funzionalità seguenti per risolvere i problemi di qualità dei dati.DQS provides the following features to resolve data quality issues.

  • Pulizia dei dati: la modifica, la rimozione o l'arricchimento di dati errati o incompleti, tramite l'utilizzo di processi sia assistiti da computer che interattivi.Data Cleansing: the modification, removal, or enrichment of data that is incorrect or incomplete, using both computer-assisted and interactive processes. Per altre informazioni, vedere Data Cleansing.For more information, see Data Cleansing.

  • Corrispondenza: l'identificazione di duplicati semantici in un processo basato su regole che consente di determinare la presenza di una corrispondenza ed effettuare la deduplicazione.Matching: the identification of semantic duplicates in a rules-based process that enables you to determine what constitutes a match and perform de-duplication. Per altre informazioni, vedere Data Matching.For more information, see Data Matching.

  • Servizi dati di riferimento: la verifica della qualità dei dati in uso utilizzando i servizi di un provider di dati di riferimento.Reference Data Services: verification of the quality of your data using the services of a reference data provider. È possibile usare i servizi dati di riferimento di Microsoft Azure Marketplace per pulire, convalidare, mettere in corrispondenza e arricchire i dati.You can use reference data services from Microsoft Azure Marketplace to cleanse, validate, match, and enrich data. Per altre informazioni, vedere Reference Data Services in DQS.For more information, see Reference Data Services in DQS.

  • Profiling: l'analisi di un'origine dati per avere dettagli sulla qualità dei dati in ogni fase dei processi di individuazione delle informazioni, gestione del dominio, corrispondenza e pulizia dei dati.Profiling: the analysis of a data source to provide insight into the quality of the data at every stage in the knowledge discovery, domain management, matching, and data cleansing processes. Il profiling è uno strumento potente in una soluzione DQS per la qualità dei dati.Profiling is a powerful tool in a DQS data quality solution. È possibile creare una soluzione per la qualità dei dati nella quale il profiling ha la stessa importanza della gestione delle informazioni, la corrispondenza o la pulizia dei dati.You can create a data quality solution in which profiling is just as important as knowledge management, matching, or data cleansing. Per altre informazioni, vedere Data Profiling and Notifications in DQS.For more information, see Data Profiling and Notifications in DQS.

  • Monitoraggio: la registrazione e la determinazione dello stato delle attività relative alla qualità dei dati.Monitoring: the tracking and determination of the state of data quality activities. Il monitoraggio consente di verificare che la soluzione per la qualità dei dati funzioni come previsto.Monitoring enables you to verify that your data quality solution is doing what it was designed to do. Per altre informazioni, vedere DQS Administration.For more information, see DQS Administration.

  • Knowledge Base: Data Quality Services è una soluzione basata sulle informazioni in cui i dati vengono analizzati in base alla conoscenza creata con DQS.Knowledge Base: Data Quality Services is a knowledge-driven solution that analyzes data based upon knowledge that you build with DQS. Consente di creare processi per la qualità dei dati in grado di migliorare costantemente le informazioni sui dati e, di conseguenza, la qualità dei dati stessi.This enables you to create data quality processes that continually enhances the knowledge about your data and in so doing, continually improves the quality of your data.

    Il processo DQS viene illustrato nella figura seguente:The following illustration displays the DQS process:

    Processo DQSDQS Process

Soluzione basata sulle informazioniA Knowledge-Driven Solution

La Knowledge Base DQS è un repository che contiene tre tipi di informazioni: informazioni predefinite, informazioni generate dal Data Quality ServerData Quality Servere informazioni generate dall'utente.The DQS knowledge base is a repository of three types of knowledge: out-of-the-box knowledge, knowledge generated by Data Quality ServerData Quality Server, and knowledge generated by the user. DQS consente di archiviare informazioni sui dati nella Knowledge Base, aggiungere regole business e modificare le informazioni nel modo desiderato, quindi applicarle per verificare l'integrità e la correttezza dei dati.DQS enables you to store knowledge about your data in the knowledge base, add business rules and modify the knowledge as you see fit, and then apply it to test the integrity and correctness of the data. Dopo avere compilato la Knowledge Base, è possibile migliorarla costantemente e riutilizzarla in più processi di miglioramento della qualità dei dati.After you build the knowledge base, you can continuously improve it, and then reuse it in multiple data-quality improvement processes.

Le informazioni in una Knowledge Base consentono di individuare i dati potenzialmente errati e suggeriscono modifiche da apportare ai dati.Knowledge in a knowledge base identifies potentially incorrect data and proposes changes to the data. Possono essere utilizzate per individuare corrispondenze di dati in base a cui effettuare la deduplicazione.It can find data matches, enabling you to perform data deduplication. Consentono inoltre di confrontare i dati di origine con dati di riferimento basati su cloud gestiti e garantiti da provider di qualità dei dati.It can compare source data with cloud-based reference data maintained and guaranteed by data quality providers. L'amministratore dei dati o il professionista IT verifica sia le informazioni della Knowledge Base sia le modifiche da apportare ai dati ed esegue i processi di pulizia e deduplicazione e i servizi dati di riferimento.The data steward or IT professional verifies both the knowledge in the knowledge base and the changes to be made to the data, and executes the cleansing, deduplication, and reference data services.

In una Knowledge Base vengono archiviate tutte le informazioni relative a un tipo specifico di origine dati.A knowledge base stores all the knowledge related to a specific type of data source. Ad esempio, è possibile gestire una Knowledge Base per un database di clienti e un'altra Knowledge Base per un database di dipendenti.For example, you could maintain one knowledge base for a customer database and another knowledge base for an employee database. Le informazioni vengono incluse in uno o più domini di dati, ognuno dei quali è una rappresentazione semantica di un tipo di dati in un campo dati.Knowledge is contained in one or more data domains, each of which is a semantic representation of a type of data in a data field. Una Knowledge Base per un database di clienti può includere domini per nomi di aziende, indirizzi contatti, informazioni di contatto e così via.A knowledge base for a customer database may have domains for company names, addresses, contacts, contact information, and so on. Un dominio contiene un elenco di valori attendibili, valori non validi e dati errati.A domain contains a list of trusted values, invalid values, and erroneous data. Le informazioni nel dominio includono associazioni di sinonimi, relazioni basate su termini, regole di convalida, regole business e criteri di corrispondenza.Domain knowledge includes synonym associations, term relationships, validation and business rules, and matching policies. Grazie a queste informazioni, l'amministratore dei dati può prendere decisioni informate per stabilire se correggere istanze specifiche dei valori in un dominio.Armed with this knowledge, the data steward can make an informed decision about whether to correct specific instances of the values in a domain.

DQS consente di eseguire operazioni di importazione ed esportazione con una Knowledge Base.DQS enables you to perform import and export operations with a knowledge base. È possibile importare o esportare domini o Knowledge Base utilizzando un file DQS.You can import or export domains or knowledge bases using a DQS file. È possibile importare valori o domini da un file di Excel.You can import values or domains from an Excel file. È inoltre possibile importare valori trovati da un processo di pulizia basato sulla Knowledge Base nuovamente in un dominio.You can also import values that have been found by a cleansing process based on the knowledge base back into a domain. Tali operazioni consentono di migliorare continuamente una Knowledge Base, assicurandosi che le informazioni ottenute tramite decisioni e individuazioni vengano indirizzate nuovamente alla Knowledge Base.These operations enable you to continually improve a knowledge base, making sure that knowledge gained through decisions and discoveries are routed back into the knowledge base.

La soluzione DQS basata sulle informazioni prevede l'utilizzo di due passaggi fondamentali per la pulizia dei dati:The DQS knowledge-driven solution uses two fundamental steps to cleanse data:

  • Un processo di gestione delle informazioni tramite cui viene compilata la Knowledge BaseA knowledge management process that builds the knowledge base

  • Un progetto Data Quality tramite cui vengono proposte modifiche ai dati di origine in base alle informazioni incluse nella Knowledge Base.A data quality project that proposes changes to the source data based on the knowledge in the knowledge base.

    Per altre informazioni, vedere Knowledge Base e domini DQS e Progetti Data Quality (DQS).For more information, see DQS Knowledge Bases and Domains and Data Quality Projects (DQS).

Componenti DQSDQS Components

Data Quality Services consiste del Data Quality ServerData Quality Server e del Client Data QualityData Quality Client.Data Quality Services consists of Data Quality ServerData Quality Server and Client Data QualityData Quality Client. Questi componenti consentono di eseguire Data Quality Services separatamente dalle altre operazioni SQL Server.These components enable you to perform data quality services separately from other SQL Server operations. Entrambi questi componenti vengono installati tramite il programma di installazione di SQL Server.Both are installed from within the SQL Server setup program.

Il Data Quality ServerData Quality Server viene implementato sotto forma di tre cataloghi di SQL Server che è possibile gestire e monitorare in SQL Server Management Studio (DQS_MAIN, DQS_PROJECTS e DQS_STAGING_DATA). Data Quality ServerData Quality Server is implemented as three SQL Server catalogs that you can manage and monitor in the SQL Server Management Studio (DQS_MAIN, DQS_PROJECTS, and DQS_STAGING_DATA). In DQS_Main sono incluse le stored procedure DQS, il motore DQS e le Knowledge Base pubblicate.DQS_MAIN includes DQS stored procedures, the DQS engine, and published knowledge bases. In DQS_PROJECTS sono inclusi i dati necessari per la gestione della Knowledge Base e le attività dei progetti DQS.DQS_PROJECTS includes data that is required for knowledge base management and DQS project activities. DQS_STAGING_DATA fornisce un database intermedio di gestione temporanea in cui è possibile copiare i dati di origine per eseguire operazioni DQS e, successivamente, esportare i dati elaborati.DQS_STAGING_DATA provides an intermediate staging database where you can copy your source data to perform DQS operations, and then export your processed data.

Il Client Data QualityData Quality Client è un'applicazione autonoma che consente di eseguire la gestione delle informazioni, i progetti Data Quality e l'amministrazione in un'unica interfaccia utente. Client Data QualityData Quality Client is a standalone application that enables you to perform knowledge management, data quality projects, and administration in one user interface. L'applicazione è progettata per gli amministratori dei dati che per gli amministratori DQS.The application is designed for both data stewards and DQS administrators. Si tratta di un file eseguibile autonomo che consente di eseguire le attività di individuazione delle informazioni, gestione del dominio, creazione di criteri di corrispondenza, pulizia dei dati, corrispondenza, profiling, monitoraggio e amministrazione del server.It is a stand-alone executable file that performs knowledge discovery, domain management, matching policy creation, data cleansing, matching, profiling, monitoring, and server administration. Il Client Data QualityData Quality Client può essere installato ed eseguito nello stesso computer del Data Quality ServerData Quality Server oppure in modalità remota in un computer distinto. Client Data QualityData Quality Client can be installed and run on the same computer as Data Quality ServerData Quality Server or remotely on a separate computer. Molte operazioni nel Client Data QualityData Quality Client sono basate su procedure guidate e sono quindi molto semplici.Many operations in Client Data QualityData Quality Client are wizard-driven for ease of use.

Funzionalità Data Quality in Integration Services e Master Data ServicesData Quality Functionality in Integration Services and Master Data Services

La funzionalità Data Quality fornita da Data Quality Services è incorporata in un componente di SQL Server Integration Services (SSIS) e nelle funzioni di Master Data Services (MDS) per abilitare l'esecuzione di processi di qualità dei dati all'interno di tali servizi.Data quality functionality provided by Data Quality Services is built into a component of SQL Server Integration Services (SSIS) and into features of Master Data Services (MDS) to enable you to perform data quality processes within those services.

Componente Pulizia DQS in Integration ServicesDQS Cleansing component in Integration Services

Il Componente Pulizia DQS in Integration ServicesDQS Cleansing component in Integration Services consente di eseguire la pulizia dei dati come parte di un pacchetto di Integration Services.The Componente Pulizia DQS in Integration ServicesDQS Cleansing component in Integration Services enables you to perform data cleansing as part of an Integration Services package. Quando il pacchetto viene eseguito, la pulizia dei dati viene eseguita come file batch.When the package is run, data cleansing is run as a batch file. Si tratta di un'alternativa all'esecuzione di un progetto di pulizia nell'applicazione Client Data QualityData Quality Client .This is an alternative to running a cleansing project in the Client Data QualityData Quality Client application. È possibile assicurare automaticamente la qualità dei dati.You can ensure the quality of your data automatically. Non è necessario eseguire i passaggi interattivi di un progetto di pulizia dei dati all'interno dell'applicazione Client Data QualityData Quality Client .You do not have to perform the interactive steps of a data cleansing project within the Client Data QualityData Quality Client application. È possibile includere il processo di pulizia dei dati all'interno di un flusso di dati che contiene altri componenti di Integration Services.You can include the data cleansing process within a data flow that contains other Integration Services components. Per altre informazioni, vedere Trasformazione DQS Cleansing.For more information, see DQS Cleansing Transformation.

Processi relativi alla qualità dei dati in Master Data ServicesData Quality Processes in Master Data Services

La funzionalità di Data Quality Services è stata integrata in Master Data Services (MDS), quindi è possibile eseguire la deduplicazione su dati di origine e dati master all'interno del componente aggiuntivo Microsoft SQL Server 2014 Master Data Services per Microsoft Excel.Data Quality Services functionality has been integrated into Master Data Services (MDS), so you can perform de-duplication on source data and master data within the Microsoft SQL Server 2014 Master Data Services Add-in for Microsoft Excel. Per eseguire la corrispondenza, caricare i dati gestiti da MDS in un foglio di lavoro Excel, combinarli con i dati non gestiti da MDS, quindi eseguire la corrispondenza all'interno di Excel.To perform matching, load data managed by MDS into an Excel worksheet, combine it with data not managed by MDS, and then perform matching within Excel. È necessario installare i componenti del Data Quality ServerData Quality Server con MDS.The Data Quality ServerData Quality Server components must be installed with MDS. Per altre informazioni, vedere Corrispondenza Data Quality nel componente aggiuntivo MDS per Excel.For more information, see Data Quality Matching in the MDS Add-in for Excel.