Pemrosesan analitik daring (OLAP) adalah teknologi yang mengatur database bisnis besar dan mendukung analitik yang kompleks. Hal ini dapat digunakan untuk melakukan kueri analitis yang kompleks tanpa mempengaruhi sistem transaksional secara negatif.
Database yang digunakan bisnis untuk menyimpan semua transaksi dan catatannya disebut database pemrosesan transaksi daring (OLTP ). Database ini biasanya memiliki catatan yang dimasukkan satu per satu. Sering kali database ini berisi banyak informasi yang berharga bagi organisasi. Namun, database yang digunakan untuk OLTP tidak dirancang untuk analitik. Oleh karena itu, mengambil jawaban dari database ini mahal dalam hal waktu dan usaha. Sistem OLAP dirancang untuk membantu mengekstrak informasi intelijen bisnis ini dari data dengan cara yang sangat berperforma tinggi. Ini karena database OLAP dioptimalkan untuk beban kerja baca yang berat dan tulis rendah.
Pemodelan semantik
Model data semantik adalah model konseptual yang menggambarkan arti dari elemen data yang ada di dalamnya. Organisasi sering memiliki istilahnya sendiri untuk berbagai hal, terkadang dengan sinonim, atau bahkan makna yang berbeda untuk istilah yang sama. Misalnya, database inventaris mungkin melacak peralatan dengan ID aset dan nomor seri, tetapi database penjualan mungkin merujuk ke nomor seri sebagai ID aset. Tidak ada cara sederhana untuk menghubungkan nilai-nilai ini tanpa model yang menjelaskan hubungan.
Pemodelan semantik memberikan tingkat abstraksi atas skema database, sehingga pengguna tidak perlu mengetahui struktur data yang mendasarinya. Hal ini memudahkan pengguna akhir untuk kueri data tanpa melakukan agregat dan bergabung atas skema yang mendasarinya. Selain itu, biasanya kolom diganti namanya menjadi nama yang lebih mudah digunakan, sehingga konteks dan makna data lebih jelas.
Pemodelan semantik didominasi digunakan untuk skenario baca-berat, seperti analitik dan kecerdasan bisnis (OLAP), yang bertentangan dengan pemrosesan data transaksional yang lebih banyak menulis (OLTP). Hal ini sebagian besar disebabkan oleh sifat lapisan semantik yang khas:
- Perilaku agregasi diatur sehingga alat pelaporan menampilkannya dengan benar.
- Logika dan perhitungan bisnis didefinisikan.
- Perhitungan berorientasi waktu disertakan.
- Data sering diintegrasikan dari berbagai sumber.
Secara tradisional, lapisan semantik ditempatkan di atas gudang data karena alasan ini.
Ada dua jenis utama model semantik:
- Tabular. Menggunakan konstruksi pemodelan relasional (model, tabel, kolom). Secara internal, metadata diwarisi dari konstruksi pemodelan OLAP (kubus, dimensi, ukuran). Kode dan skrip menggunakan metadata OLAP.
- Multidimensi. Menggunakan konstruksi pemodelan OLAP tradisional (kubus, dimensi, ukuran).
Layanan Azure yang relevan:
Contoh kasus penggunaan
Sebuah organisasi memiliki data yang disimpan dalam database besar. Organisasi ingin membuat data ini tersedia bagi pengguna bisnis dan pelanggan untuk membuat laporan mereka sendiri dan melakukan beberapa analitik. Salah satu opsinya adalah memberi pengguna akses langsung ke database. Namun, ada beberapa kelemahan untuk melakukannya, termasuk mengelola keamanan dan mengontrol akses. Selain itu, desain database, termasuk nama tabel dan kolom, mungkin sulit dipahami bagi pengguna. Pengguna perlu mengetahui tabel mana yang harus dikueri, bagaimana tabel tersebut harus digabungkan, dan logika bisnis lainnya yang harus diterapkan untuk mendapatkan hasil yang benar. Pengguna juga perlu mengetahui bahasa kueri seperti SQL meski untuk memulai. Biasanya hal ini menyebabkan beberapa pengguna melaporkan metrik yang sama tetapi dengan hasil yang berbeda.
Opsi lain adalah merangkum semua informasi yang dibutuhkan pengguna ke dalam model semantik. Model semantik dapat lebih mudah ditanyakan oleh pengguna dengan alat pelaporan pilihan mereka. Data yang disediakan oleh model semantik ditarik dari gudang data, sehingga memastikan bahwa semua pengguna melihat satu versi kebenaran. Model semantik juga menyediakan nama tabel dan kolom yang cocok, hubungan antara tabel, deskripsi, perhitungan, dan keamanan tingkat baris.
Ciri khas pemodelan semantik
Pemodelan semantik dan pemrosesan analitis cenderung memiliki sifat-sifat berikut:
| Persyaratan | Deskripsi |
|---|---|
| Skema | Skema pada tulis, diterapkan dengan ketat |
| Menggunakan Transaksi | No |
| Strategi Penguncian | Tidak |
| Dapat diperbarui | Tidak (biasanya membutuhkan kubus komputasi ulang) |
| Dapat ditambahkan | Tidak (biasanya membutuhkan kubus komputasi ulang) |
| Beban kerja | Bacaan berat, baca-saja |
| Pengindeksan | Pengindeksan multidimensi |
| Ukuran datum | Berukuran kecil hingga sedang |
| Model | Multidimensi |
| Bentuk data: | Skema kubus atau star/snowflake |
| Fleksibilitas kueri | Sangat fleksibel |
| Skala: | Besar (10-100 GB) |
Kapan menggunakan solusi ini
Pertimbangkan OLAP dalam skenario berikut:
- Anda perlu menjalankan kueri analitis dan ad hoc yang kompleks dengan cepat, tanpa berdampak negatif pada sistem OLTP Anda.
- Anda ingin memberi pengguna bisnis cara sederhana untuk menghasilkan laporan dari data Anda
- Anda ingin menyediakan sejumlah agregasi yang akan memungkinkan pengguna mendapatkan hasil yang cepat dan konsisten.
OLAP sangat berguna untuk menerapkan perhitungan agregat atas sejumlah besar data. Sistem OLAP dioptimalkan untuk skenario baca-berat, seperti analitik dan kecerdasan bisnis. OLAP memungkinkan pengguna mengelompokkan data multi-dimensi menjadi potongan yang dapat dilihat dalam dua dimensi (seperti tabel pivot) atau memfilter data berdasarkan nilai tertentu. Proses ini terkadang disebut "slicing dan dicing" data, dan dapat dilakukan terlepas dari apakah data dipartisi di beberapa sumber data. Hal ini membantu pengguna menemukan tren, pola spot, dan menjelajahi data tanpa harus mengetahui detail analitik data tradisional.
Model semantik dapat membantu pengguna bisnis mengabstraksi kompleksitas hubungan dan membuatnya lebih mudah untuk menganalitik data dengan cepat.
Tantangan
Untuk semua manfaat yang diberikan sistem OLAP, mereka menghasilkan beberapa tantangan:
- Sedangkan data dalam sistem OLTP terus diperbarui melalui transaksi yang mengalir dari berbagai sumber, penyimpanan data OLAP biasanya dimuat ulang pada interval yang jauh lebih lambat, tergantung pada kebutuhan bisnis. Artinya, sistem OLAP lebih cocok untuk keputusan bisnis strategis, daripada tanggapan langsung terhadap perubahan. Selain itu, beberapa tingkat pembersihan data dan orkestrasi perlu direncanakan untuk menjaga penyimpanan data OLAP tetap diperbarui.
- Tidak seperti tabel relasional, tradisional, dan dinormalisasi, yang ditemukan dalam sistem OLTP, model data OLAP cenderung bersifat multidimensi. Hal ini membuat pemetaan ke entitas-hubungan atau model berorientasi objek sulit atau tidak dapat dilakukan, saat setiap atribut dipetakan ke satu kolom. Sebaliknya, sistem OLAP biasanya menggunakan skema bintang atau kepingan salju sebagai pengganti normalisasi tradisional.
OLAP di Azure
Di Azure, data yang disimpan dalam sistem OLTP seperti Azure SQL Database disalin ke dalam sistem OLAP, seperti Azure Analysis Services. Alat eksplorasi dan visualisasi data seperti opsi Power BI, Excel, dan pihak ketiga terhubung ke server Analysis Services dan memberi pengguna wawasan yang sangat interaktif dan beragam secara visual tentang data yang dimodelkan. Aliran data dari data OLTP ke OLAP biasanya diatur menggunakan SSIS, yang dapat dijalankan menggunakan Azure Data Factory.
Di Azure, semua penyimpanan data berikut akan memenuhi persyaratan inti untuk OLAP:
- SQL Server dengan indeks Penyimpan Kolom
- Azure Analysis Services
- SQL Server Analysis Services (SSAS)
SQL Server Analysis Services (SSAS) menawarkan OLAP dan fungsi penggalian data untuk aplikasi kecerdasan bisnis. Anda dapat menginstal SQL Server Analysis Services di server lokal, atau menghosting dalam mesin virtual di Azure. Azure Analysis Services adalah layanan terkelola sepenuhnya yang menyediakan fitur utama yang sama dengan SSAS. Azure Analysis Services mendukung penyambungan ke berbagai sumber data di cloud dan lokal di organisasi Anda.
Indeks Penyimpan Kolom dalam kluster tersedia di SQL Server 2014 ke atas, serta Azure SQL Database, dan ideal untuk beban kerja OLAP. Namun, dimulai dengan SQL Server 2016 (termasuk Azure SQL Database), Anda dapat memanfaatkan pemrosesan transaksional/analitik hibrida (HTAP) melalui penggunaan indeks penyimpan kolom non kluster yang dapat diperbarui. HTAP memungkinkan Anda melakukan pemrosesan OLTP dan OLAP pada platform yang sama, yang menghilangkan kebutuhan untuk menyimpan beberapa salinan data Anda, dan menghilangkan kebutuhan akan sistem OLTP dan OLAP yang berbeda. Untuk informasi selengkapnya, lihat Memulai Columnstore untuk analitik operasional real-time.
Kriteria pilihan utama
Untuk mempersempit pilihan, mulailah dengan menjawab pertanyaan-pertanyaan ini:
Apakah Anda menginginkan layanan terkelola dan tidak mengelola server Anda sendiri?
Apakah Anda memerlukan autentikasi aman menggunakan ID Microsoft Entra?
Apakah Anda ingin melakukan analitik real-time? Jika demikian, persempit opsi Anda dengan opsi yang mendukung analitik real-time.
Analitik real-time dalam konteks ini berlaku untuk satu sumber data, seperti aplikasi perencanaan sumber daya perusahaan (ERP), yang akan menjalankan beban kerja operasional dan analitik. Jika Anda perlu mengintegrasikan data dari berbagai sumber, atau memerlukan performa analitik ekstrem dengan menggunakan data pra-agregat seperti kubus, Anda mungkin masih memerlukan gudang data terpisah.
Apakah Anda perlu menggunakan data pra-agregat, misalnya untuk menyediakan model semantik yang membuat analitik lebih mudah digunakan oleh bisnis? Jika ya, pilih opsi yang mendukung kubus multidimensi atau model semantik tabular.
Menyediakan agregat dapat membantu pengguna menghitung agregat data secara konsisten. Data pra-agregat juga dapat memberikan peningkatan performa yang besar ketika berhadapan dengan beberapa kolom di banyak baris. Data dapat pra-agregat dalam kubus multidimensi atau model semantik tabular.
Apakah Anda perlu mengintegrasikan data dari beberapa sumber, di luar penyimpanan data OLTP Anda? Jika demikian, pertimbangkan opsi yang dengan mudah mengintegrasikan beberapa sumber data.
Matriks kemampuan
Tabel berikut merangkum perbedaan utama kemampuan.
Kemampuan secara umum
| Kemampuan | Azure Analysis Services | SQL Server Analysis Services | SQL Server dengan Indeks Penyimpan Kolom | Azure SQL Database dengan Indeks Penyimpan Kolom |
|---|---|---|---|---|
| Apakah layanan terkelola? | Ya | No | No | Ya |
| Mendukung kubus multidimensi | Tidak | Ya | No | Tidak |
| Mendukung model semantik tabular | Ya | Ya | No | Tidak |
| Mudah mengintegrasikan beberapa sumber data | Ya | Ya | No 1 | No 1 |
| Mendukung analitik real-time | Tidak | No | Ya | Ya |
| Memerlukan proses untuk menyalin data dari sumber | Ya | Ya | No | Tidak |
| Integrasi Microsoft Entra | Ya | Tidak | Tidak 2 | Ya |
[1] Meskipun SQL Server dan Azure SQL Database tidak dapat digunakan untuk mengkueri dari dan mengintegrasikan beberapa sumber data eksternal, Anda masih dapat membuat alur yang melakukannya untuk Anda menggunakan SSIS atau Azure Data Factory. SQL Server yang dihosting di Azure VM memiliki opsi tambahan, seperti server tertaut dan PolyBase. Untuk informasi selengkapnya, lihat Orkestrasi alur, alur kontrol, dan pergerakan data.
[2] Koneksi ke SQL Server yang berjalan di Azure Virtual Machine tidak didukung menggunakan akun Microsoft Entra. Gunakan akun Active Directory domain sebagai gantinya.
Kemampuan Skalabilitas
| Kemampuan | Azure Analysis Services | SQL Server Analysis Services | SQL Server dengan Indeks Penyimpan Kolom | Azure SQL Database dengan Indeks Penyimpan Kolom |
|---|---|---|---|---|
| Server regional redundan untuk ketersediaan tinggi | Ya | No | Ya | Ya |
| Mendukung perluasan skala kueri | Ya | No | Ya | Ya |
| Skalabilitas dinamis (peningkatan skala) | Ya | No | Ya | Ya |
Kontributor
Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.
Penulis utama:
- Zoiner Tejada | CEO dan Arsitek
Langkah berikutnya
- Indeks Penyimpan Kolom: Ringkasan
- Membuat server Analysis Services
- Apa itu Azure Data Factory?
- Apa itu Power BI?