Pengantar Layanan Kualitas Data

Berlaku untuk:SQL Server

Solusi kualitas data yang disediakan oleh Data Quality Services (DQS) memungkinkan pengurus data atau profesional TI untuk menjaga kualitas data mereka dan memastikan bahwa data cocok untuk penggunaan bisnisnya. DQS adalah solusi berbasis pengetahuan yang menyediakan cara yang dibantu komputer dan interaktif untuk mengelola integritas dan kualitas sumber data Anda. DQS memungkinkan Anda menemukan, membangun, dan mengelola pengetahuan tentang data Anda. Anda kemudian dapat menggunakan pengetahuan tersebut untuk melakukan pembersihan, pencocokan, dan pembuatan profil data. Anda juga dapat memanfaatkan layanan penyedia data referensi berbasis cloud dalam proyek kualitas data DQS.

Kebutuhan Bisnis untuk DQS

Data yang salah dapat disebabkan oleh kesalahan entri pengguna, kerusakan dalam transmisi atau penyimpanan, definisi kamus data yang tidak cocok, dan masalah kualitas dan proses data lainnya. Menggabungkan data dari berbagai sumber yang menggunakan standar data yang berbeda dapat mengakibatkan data yang tidak konsisten, seperti yang dapat menerapkan aturan sewenang-wenang atau menimpa data historis. Data yang salah memengaruhi kemampuan bisnis untuk melakukan fungsi bisnisnya dan untuk memberikan layanan kepada pelanggannya, mengakibatkan hilangnya kredibilitas dan pendapatan, ketidakpuasan pelanggan, dan masalah kepatuhan. Sistem otomatis sering tidak bekerja dengan data yang salah, dan data buruk membuang-buang waktu dan energi orang yang melakukan proses manual. Data yang salah dapat menimbulkan bencana dengan analisis data, pelaporan, penambangan data, dan pergudangan.

Data berkualitas tinggi sangat penting untuk efisiensi bisnis dan lembaga. Organisasi dengan ukuran apa pun dapat menggunakan DQS untuk meningkatkan nilai informasi datanya, membuat data lebih cocok untuk penggunaan yang dimaksudkan. Solusi kualitas data dapat membuat data lebih andal, dapat diakses, dan digunakan kembali. Ini dapat meningkatkan kelengkapan, akurasi, kesamaan, dan konsistensi data Anda, menyelesaikan masalah yang disebabkan oleh data yang buruk dalam kecerdasan bisnis atau beban kerja gudang data, serta dalam sistem OLTP operasional.

DQS memungkinkan pengguna bisnis, pekerja informasi, atau profesional TI yang bukan ahli database atau programmer untuk membuat, memelihara, dan menjalankan operasi kualitas data organisasi mereka dengan waktu penyiapan atau persiapan minimal.

Menjawab kebutuhan tersebut dengan DQS

Kualitas data tidak didefinisikan dalam istilah absolut. Ini tergantung pada apakah data sesuai untuk tujuan yang dimaksudkannya. DQS mengidentifikasi data yang berpotensi salah, dan memberi Anda penilaian tentang kemungkinan data tersebut sebenarnya salah. DQS memberi Anda pemahaman semantik tentang data sehingga Anda dapat memutuskan kelayakannya. DQS memungkinkan Anda menyelesaikan masalah yang melibatkan ketidaklengkapan, kurangnya kesesuaian, ketidakkonsistensian, ketidakakuratan, ketidakvalidan, dan duplikasi data.

DQS menyediakan fitur berikut untuk mengatasi masalah kualitas data.

• Pembersihan Data: modifikasi, penghapusan, atau pengayaan data yang salah atau tidak lengkap, menggunakan proses yang dibantu komputer dan interaktif. Untuk informasi selengkapnya, lihat Pembersihan Data.

• Pencocokan: identifikasi duplikat semantik dalam proses berbasis aturan yang memungkinkan Anda menentukan apa yang merupakan kecocokan dan melakukan de-duplikasi. Untuk informasi selengkapnya, lihat Pencocokan Data.

• Layanan Data Referensi: verifikasi kualitas data Anda menggunakan layanan penyedia data referensi. Anda dapat menggunakan layanan data referensi dari Microsoft Azure Marketplace untuk membersihkan, memvalidasi, mencocokkan, dan memperkaya data. Untuk informasi selengkapnya, lihat Referensi Data Services di DQS.

• Pembuatan profil: analisis sumber data untuk memberikan wawasan tentang kualitas data di setiap tahap dalam proses penemuan pengetahuan, manajemen domain, pencocokan, dan pembersihan data. Pembuatan profil adalah alat yang canggih dalam solusi kualitas data DQS. Anda dapat membuat solusi kualitas data di mana pembuatan profil sama pentingnya dengan manajemen pengetahuan, pencocokan, atau pembersihan data. Untuk informasi selengkapnya, lihat Pembuatan Profil Data dan Pemberitahuan di DQS.

• Pemantauan: pelacakan dan penentuan status aktivitas kualitas data. Pemantauan memungkinkan Anda memverifikasi bahwa solusi kualitas data Anda melakukan apa yang dirancang untuk dilakukan. Untuk informasi selengkapnya, lihat Administrasi DQS.

• Pangkalan Pengetahuan: Layanan Kualitas Data adalah solusi berbasis pengetahuan yang menganalisis data berdasarkan pengetahuan yang Anda bangun dengan DQS. Ini memungkinkan Anda membuat proses kualitas data yang terus meningkatkan pengetahuan tentang data Anda dan dengan demikian, terus meningkatkan kualitas data Anda.

Ilustrasi berikut menampilkan proses DQS:

Solusi Berbasis Pengetahuan

Pangkalan pengetahuan DQS adalah repositori dari tiga jenis pengetahuan: pengetahuan di luar kotak, pengetahuan yang dihasilkan oleh Server Kualitas Data, dan pengetahuan yang dihasilkan oleh pengguna. DQS memungkinkan Anda menyimpan pengetahuan tentang data Anda di pangkalan pengetahuan, menambahkan aturan bisnis, dan memodifikasi pengetahuan sesuai keinginan Anda, lalu menerapkannya untuk menguji integritas dan kebenaran data. Setelah Anda membangun pangkalan pengetahuan, Anda dapat terus meningkatkannya, lalu menggunakannya kembali dalam beberapa proses peningkatan kualitas data.

Pengetahuan dalam pangkalan pengetahuan mengidentifikasi data yang berpotensi salah dan mengusulkan perubahan pada data. Ini dapat menemukan kecocokan data, memungkinkan Anda melakukan deduplikasi data. Ini dapat membandingkan data sumber dengan data referensi berbasis cloud yang dipertahankan dan dijamin oleh penyedia kualitas data. Pengurus data atau profesional TI memverifikasi pengetahuan di pangkalan pengetahuan dan perubahan yang akan dilakukan pada data, dan menjalankan layanan data pembersihan, deduplikasi, dan referensi.

Pangkalan pengetahuan menyimpan semua pengetahuan yang terkait dengan jenis sumber data tertentu. Misalnya, Anda dapat mempertahankan satu pangkalan pengetahuan untuk database pelanggan dan pangkalan pengetahuan lain untuk database karyawan. Pengetahuan terkandung dalam satu atau beberapa domain data, yang masing-masing merupakan representasi semantik dari jenis data dalam bidang data. Pangkalan pengetahuan untuk database pelanggan mungkin memiliki domain untuk nama perusahaan, alamat, kontak, informasi kontak, dan sebagainya. Domain berisi daftar nilai tepercaya, nilai yang tidak valid, dan data yang salah. Pengetahuan domain mencakup asosiasi sinonim, hubungan istilah, validasi dan aturan bisnis, dan kebijakan pencocokan. Berbekal pengetahuan ini, pengurus data dapat membuat keputusan berdasarkan informasi tentang apakah akan memperbaiki instans tertentu dari nilai dalam domain.

DQS memungkinkan Anda melakukan operasi impor dan ekspor dengan pangkalan pengetahuan. Anda dapat mengimpor atau mengekspor domain atau pangkalan pengetahuan menggunakan file DQS. Anda bisa mengimpor nilai atau domain dari file Excel. Anda juga dapat mengimpor nilai yang telah ditemukan oleh proses pembersihan berdasarkan pangkalan pengetahuan kembali ke domain. Operasi ini memungkinkan Anda untuk terus meningkatkan pangkalan pengetahuan, memastikan bahwa pengetahuan yang diperoleh melalui keputusan dan penemuan dirutekan kembali ke pangkalan pengetahuan.

Solusi berbasis pengetahuan DQS menggunakan dua langkah mendasar untuk membersihkan data:

• Proses manajemen pengetahuan yang membangun pangkalan pengetahuan

• Proyek kualitas data yang mengusulkan perubahan pada data sumber berdasarkan pengetahuan di pangkalan pengetahuan.

Untuk informasi selengkapnya, lihat Pangkalan Pengetahuan DQS dan Domain dan Proyek Kualitas Data (DQS).

Komponen DQS

Layanan Kualitas Data terdiri dari Server Kualitas Data dan Klien Kualitas Data. Komponen-komponen ini memungkinkan Anda melakukan layanan kualitas data secara terpisah dari operasi SQL Server lainnya. Keduanya diinstal dari dalam program penyiapan SQL Server.

Data Quality Server diimplementasikan sebagai tiga katalog SQL Server yang dapat Anda kelola dan pantau di SQL Server Management Studio (DQS_MAIN, DQS_PROJECTS, dan DQS_STAGING_DATA). DQS_MAIN mencakup prosedur tersimpan DQS, mesin DQS, dan pangkalan pengetahuan yang diterbitkan. DQS_PROJECTS mencakup data yang diperlukan untuk manajemen pangkalan pengetahuan dan aktivitas proyek DQS. DQS_STAGING_DATA menyediakan database penahapan perantara tempat Anda dapat menyalin data sumber untuk melakukan operasi DQS, lalu mengekspor data yang diproses.

Data Quality Client adalah aplikasi mandiri yang memungkinkan Anda melakukan manajemen pengetahuan, proyek kualitas data, dan administrasi dalam satu antarmuka pengguna. Aplikasi ini dirancang untuk pengurus data dan administrator DQS. Ini adalah file yang dapat dieksekusi yang berdiri sendiri yang melakukan penemuan pengetahuan, manajemen domain, pembuatan kebijakan yang cocok, pembersihan data, pencocokan, pembuatan profil, pemantauan, dan administrasi server. Klien Kualitas Data dapat diinstal dan dijalankan di komputer yang sama dengan Server Kualitas Data atau dari jarak jauh di komputer terpisah. Banyak operasi di Klien Kualitas Data didorong wizard untuk kemudahan penggunaan.

Fungsionalitas Kualitas Data dalam Layanan Integrasi dan Layanan Data Master

Fungsionalitas kualitas data yang disediakan oleh Layanan Kualitas Data dibangun ke dalam komponen SQL Server Integration Services (SSIS) dan ke dalam fitur Master Data Services (MDS) untuk memungkinkan Anda melakukan proses kualitas data dalam layanan tersebut.

Komponen Pembersihan DQS di Layanan Integrasi

Komponen Pembersihan DQS di Layanan Integrasi memungkinkan Anda melakukan pembersihan data sebagai bagian dari paket Layanan Integrasi. Saat paket dijalankan, pembersihan data dijalankan sebagai file batch. Ini adalah alternatif untuk menjalankan proyek pembersihan di aplikasi Klien Kualitas Data. Anda dapat memastikan kualitas data Anda secara otomatis. Anda tidak perlu melakukan langkah-langkah interaktif proyek pembersihan data dalam aplikasi Klien Kualitas Data. Anda dapat menyertakan proses pembersihan data dalam aliran data yang berisi komponen Layanan Integrasi lainnya. Untuk informasi selengkapnya, lihat Transformasi Pembersihan DQS.

Proses Kualitas Data di Master Data Services

Fungsionalitas Layanan Kualitas Data telah diintegrasikan ke dalam Master Data Services (MDS), sehingga Anda dapat melakukan de-duplikasi pada data sumber dan data master dalam Add-in Microsoft SQL Server 2014 Master Data Services untuk Microsoft Excel. Untuk melakukan pencocokan, muat data yang dikelola oleh MDS ke dalam lembar kerja Excel, gabungkan dengan data yang tidak dikelola oleh MDS, lalu lakukan pencocokan dalam Excel. Komponen Server Kualitas Data harus diinstal dengan MDS. Untuk informasi selengkapnya, lihat Pencocokan Kualitas Data di Add-in MDS untuk Excel.