Apa itu Azure Synapse Data Explorer? (Pratinjau)
Azure Synapse Data Explorer memberi pelanggan pengalaman kueri interaktif untuk membuka wawasan dari data log dan telemetri. Untuk melengkapi mesin runtime analitik SQL dan Apache Spark yang ada, runtime analitik Data Explorer dioptimalkan untuk analitik log yang efisien menggunakan teknologi pengindeksan yang kuat untuk mengindeks teks bebas dan data semi-terstruktur yang biasa ditemukan dalam data telemetri secara otomatis.
Untuk mempelajari selengkapnya, lihat video berikut ini:
Apa yang membuat Azure Synapse Data Explorer unik?
Penyerapan yang mudah - Data Explorer menawarkan integrasi bawaan untuk no-code/low-code, penyerapan data dengan throughput tinggi, dan membuat cache data dari sumber real time. Data dapat diserap dari sumber seperti Azure Event Hubs, Kafka, Azure Data Lake, agen sumber terbuka seperti Fluentd/Fluent Bit, dan berbagai sumber data cloud dan lokal.
Tidak ada pemodelan data yang kompleks - Dengan Data Explorer, tidak perlu membangun model data yang kompleks dan tidak perlu membuat skrip kompleks untuk mengubah data sebelum digunakan.
Tidak ada pemeliharaan indeks - Tidak perlu tugas pemeliharaan untuk mengoptimalkan data untuk performa kueri dan tidak perlu pemeliharaan indeks. Dengan Data Explorer, semua data mentah segera tersedia, memungkinkan Anda menjalankan kueri berperforma tinggi dan berkonkurensi tinggi pada streaming dan data persisten Anda. Anda dapat menggunakan kueri ini untuk membangun dasbor dan pemberitahuan mendekati real-time dan menyambungkan data analitik operasional dengan platform analitik data lainnya.
Demokratisasi analisis data - Data Explorer mendemokratisasikan layanan mandiri, analitik data besar dengan Bahasa Kueri Kusto (KQL) intuitif yang memberikan ekspresi dan keandalan SQL dengan kesederhanaan Excel. KQL sangat dioptimalkan untuk menjelajahi data telemetri dan deret waktu mentah dengan memanfaatkan teknologi pengindeksan teks terbaik di kelasnya Data Explorer untuk pencarian teks bebas dan regex yang efisien, dan kemampuan penguraian komprehensif untuk membuat kueri jejak\data teks dan data semi-terstruktur JSON termasuk array dan struktur bersarang. KQL menawarkan dukungan rangkaian waktu tingkat lanjut untuk membuat, memanipulasi, dan menganalisis beberapa rangkaian waktu dengan dukungan eksekusi Python dalam mesin untuk penilaian model.
Teknologi yang terbukti dalam skala petabyte - Data Explorer adalah sistem terdistribusi dengan sumber daya komputasi dan penyimpanan yang dapat diskalakan secara independen, memungkinkan analitik pada gigabyte atau petabyte data.
Terintegrasi - Azure Synapse Analytics memberikan interoperabilitas di seluruh data antara Data Explorer, Apache Spark, dan mesin SQL yang memberdayakan insinyur data, ilmuwan data, dan analis data untuk mengakses dan berkolaborasi dengan mudah dan aman pada data yang sama di data lake.
Kapan harus menggunakan Azure Synapse Data Explorer?
Gunakan Data Explorer sebagai platform data untuk membangun solusi analisis log dan analisis IoT yang mendekati real-time untuk:
Mengonsolidasikan dan menghubungkan log dan data peristiwa Anda di seluruh sumber data lokal, cloud, dan pihak ketiga.
Mempercepat perjalanan AI Ops Anda (pengenalan pola, deteksi anomali, perkiraan, dan lainnya).
Mengganti solusi pencarian log berbasis infrastruktur untuk menghemat biaya dan meningkatkan produktivitas.
Membangun solusi analitik IoT untuk data IoT Anda.
Membangun solusi SaaS analitik untuk menawarkan layanan kepada pelanggan internal dan eksternal Anda.
Arsitektur kumpulan Data Explorer
Data Explorer kumpulan menerapkan arsitektur peluasan skala dengan memisahkan sumber daya komputasi dan penyimpanan. Ini memungkinkan Anda untuk menskalakan setiap sumber daya secara independen dan, misalnya, menjalankan beberapa komputasi baca-saja pada data yang sama. kumpulan Data Explorer terdiri dari sekumpulan sumber daya komputasi yang menjalankan mesin yang bertanggung jawab atas pengindeksan otomatis, kompresi, penembolokan, dan penyajian kueri terdistribusi. Mereka juga memiliki sekumpulan sumber daya komputasi kedua yang menjalankan layanan manajemen data yang bertanggung jawab atas pekerjaan sistem latar belakang, serta penyerapan data yang dikelola dan diantrekan. Semua data disimpan di akun penyimpanan blob terkelola menggunakan format kolom terkompresi.
Kumpulan Data Explorer mendukung ekosistem yang kaya untuk menyerap data menggunakan konektor, SDK, REST API, dan kemampuan terkelola lainnya. Ini menawarkan berbagai cara untuk menggunakan data untuk kueri ad hoc, laporan, dasbor, pemberitahuan, REST API, dan SDK.
Ada banyak kemampuan unik yang menjadikan Data Explore sebagai mesin analitik terbaik untuk analitik log dan rangkaian waktu di Azure.
Bagian berikut menyoroti pembeda utama.
Pengindeksan data teks bebas dan semi terstruktur memungkinkan kueri berkinerja tinggi dan berkinerja tinggi hampir real time
Data Explorer mengindeks data semi terstruktur (JSON) dan data yang tidak terstruktur (teks bebas) yang membuat kueri yang berjalan berkinerja baik pada jenis data ini. Secara default, setiap bidang diindeks selama penyerapan data dengan opsi untuk menggunakan kebijakan pengodean tingkat rendah untuk menyempurnakan atau menonaktifkan indeks untuk bidang tertentu. Cakupan indeks adalah shard data tunggal.
Implementasi indeks tergantung pada jenis bidang, sebagai berikut:
| Jenis bidang | Implementasi pengindeksan |
|---|---|
| String | Mesin membangun indeks istilah terbalik untuk nilai kolom string. Setiap nilai string dianalisis dan dibagi menjadi istilah yang dinormalisasi dan daftar urutan posisi logis, yang berisi ordinal rekaman, dicatat untuk setiap istilah. Daftar istilah yang diurutkan dan posisinya disimpan sebagai pohon B yang tidak dapat diubah. |
| Numerik DateTime TimeSpan |
Mesin membangun indeks penerusan berbasis rentang sederhana. Indeks mencatat nilai min/maks untuk setiap blok, untuk grup blok dan untuk seluruh kolom dalam shard data. |
| Dinamis | Proses penyerapan menghitung semua elemen "atom" dalam nilai dinamis, seperti nama properti, nilai, dan elemen array, dan meneruskannya ke penyusun indeks. Bidang dinamis memiliki indeks istilah terbalik yang sama dengan bidang string. |
Kemampuan pengindeksan yang efisien ini memungkinkan Penjelajahan Data untuk membuat data tersedia hampir real-time untuk kueri berkinerja tinggi dan konkurensi tinggi. Sistem secara otomatis mengoptimalkan shard data untuk lebih meningkatkan performa.
Bahasa Kueri Kusto
KQL memiliki komunitas yang besar dan berkembang dengan adopsi cepat Application Insights dan Log Analytics Azure Monitor, Microsoft Sentinel, Azure Data Explorer, dan penawaran Microsoft lainnya. Bahasa ini dirancang dengan baik dengan sintaks yang mudah dibaca dan memberikan transisi yang mulus dari kueri pemrosesan data sederhana ke kueri pemrosesan data yang kompleks. Ini memungkinkan Data Explorer untuk memberikan dukungan Intellisense yang kaya dan serangkaian konstruksi bahasa yang kaya dan kemampuan bawaan untuk agregasi, rangkaian waktu, dan analitik pengguna yang tidak tersedia di SQL untuk eksplorasi data telemetri dengan cepat.