Apa itu Azure Synapse Link for Azure Cosmos DB?

  • Artikel

BERLAKU UNTUK: Nosql MongoDB Gremlin

Azure Synapse Link untuk Azure Cosmos DB adalah kemampuan pemrosesan transaksional dan analitik hibrida asli dari cloud (HTAP) yang memungkinkan Anda menjalankan analitik mendekati real-time melalui data operasional di Azure Cosmos DB. Azure Synapse Link menciptakan integrasi mulus yang ketat antara Azure Cosmos DB dan Azure Synapse Analytics.

Penyimpanan analitik Azure Cosmos DB, penyimpanan kolom yang sepenuhnya terisolasi, dapat digunakan dengan Azure Synapse Link untuk mengaktifkan analitik Extract-Transform-Load (ETL) di Azure Synapse Analytics terhadap data operasional Anda dalam skala besar. Analis bisnis, teknisi data, dan ilmuwan data sekarang dapat menggunakan Synapse Spark atau Synapse SQL secara bergantian untuk menjalankan kecerdasan bisnis, analitik, dan alur pembelajaran mesin mendekati real-time. Anda dapat menganalisis data real time tanpa memengaruhi performa beban kerja transaksional Anda di Azure Cosmos DB.

Citra berikut menunjukkan integrasi Azure Synapse Link dengan Azure Cosmos DB dan Azure Synapse Analytics:

Architecture diagram for Azure Synapse Analytics integration with Azure Cosmos DB

Untuk menganalisis himpunan data operasional besar sekaligus meminimalkan efek apa pun pada performa beban kerja transaksional yang sangat penting, pelanggan Azure Cosmos DB secara tradisional mengekspor data operasional. Operasi ini dilakukan oleh alur Extract-Transform-Load (ETL), yang memerlukan banyak lapisan manajemen data dan pekerjaan, menghasilkan kompleksitas operasional dan efek performa pada beban kerja transaksional Anda. Ini juga meningkatkan latensi untuk menganalisis data operasional dari waktu asal.

Jika dibandingkan dengan solusi berbasis ETL tradisional, Azure Synapse Link untuk Azure Cosmos DB menawarkan beberapa keuntungan seperti:

Mengurangi kompleksitas tanpa pekerjaan ETL untuk dikelola

Azure Synapse Link memungkinkan Anda mengakses penyimpanan analitik Azure Cosmos DB secara langsung menggunakan Azure Synapse Analytics tanpa pemindahan data yang kompleks. Setiap pembaruan yang dibuat pada data operasional terlihat di penyimpanan analitik mendekati real-time tanpa ETL atau mengubah pekerjaan umpan. Anda dapat menjalankan analitik skala besar terhadap penyimpanan analitik, dari Azure Synapse Analytics, tanpa transformasi data tambahan.

Wawasan mendekati real-time ke dalam data operasional Anda

Kini Anda bisa mendapatkan wawasan yang kaya tentang data operasional Anda mendekati real-time, menggunakan Azure Synapse Link. Sistem berbasis ETL cenderung memiliki latensi yang lebih tinggi untuk menganalisis data operasional Anda, karena banyak lapisan yang diperlukan untuk mengekstrak, mengubah, dan memuat data operasional. Dengan integrasi asli penyimpanan analitik Azure Cosmos DB dengan Azure Synapse Analytics, Anda dapat menganalisis data operasional mendekati real-time yang memungkinkan skenario bisnis baru.

Tidak ada kompromi performa pada beban kerja operasional

Dengan Azure Synapse Link, Anda dapat menjalankan kueri analitis terhadap penyimpanan analitik Azure Cosmos DB, representasi penyimpanan kolom data Anda. Anda dapat menjalankan kueri saat operasi transaksional diproses menggunakan throughput yang disediakan untuk beban kerja transaksional, melalui penyimpanan transaksional berbasis baris Azure Cosmos DB. Beban kerja analitik tidak bergantung pada lalu lintas beban kerja transaksional, tidak menggunakan throughput yang Anda alokasikan untuk data operasional Anda.

Dioptimalkan untuk beban kerja analitik skala besar

Penyimpanan analitik Azure Cosmos DB dioptimalkan untuk memberikan skalabilitas, elastisitas, dan performa untuk beban kerja analitis tanpa dependensi apa pun pada run-time komputasi. Teknologi penyimpanan dikelola sendiri untuk mengoptimalkan beban kerja analitik Anda. Dengan dukungan bawaan ke Azure Synapse Analytics, mengakses lapisan penyimpanan ini memberikan kesederhanaan dan performa tinggi.

Hemat biaya

Dengan Azure Synapse Link, Anda bisa mendapatkan solusi terkelola sepenuhnya dan hemat biaya untuk analitik operasional. Ini menghilangkan lapisan penyimpanan tambahan dan komputasi yang diperlukan dalam alur ETL tradisional untuk menganalisis data operasional.

Penyimpanan analitik Azure Cosmos DB mengikuti model harga berbasis penggunaan, yang didasarkan pada penyimpanan data dan operasi baca/tulis analitis dan kueri yang dijalankan. Anda tidak perlu mengalokasikan throughput apa pun, seperti yang Anda lakukan hari ini untuk beban kerja transaksional. Mengakses data Anda dengan mesin komputasi yang sangat elastis dari Azure Synapse Analytics membuat biaya keseluruhan menjalankan penyimpanan dan komputasi menjadi efisien.

Analitik untuk penulisan multi-wilayah yang tersedia secara lokal, terdistribusi secara global

Anda dapat menjalankan kueri analitis secara efektif terhadap salinan data regional terdekat di Azure Cosmos DB. Azure Cosmos DB menyediakan kemampuan canggih untuk menjalankan beban kerja analitik yang didistribusikan secara global bersama dengan beban kerja transaksional secara aktif.

Mengaktifkan skenario HTAP untuk data operasional Anda

Azure Synapse Link menyatukan penyimpanan analitik Azure Cosmos DB dengan dukungan runtime Bahasa Umum Azure Synapse Analytics. Integrasi ini memungkinkan Anda membangun solusi HTAP asli cloud yang menghasilkan wawasan berdasarkan pembaruan real time pada data operasional Anda melalui himpunan data besar. Ini membuka skenario bisnis baru untuk meningkatkan peringatan berdasarkan tren langsung, membangun di dasbor mendekati real-time, dan pengalaman bisnis berdasarkan perilaku pengguna.

Penyimpanan analitik Azure Cosmos DB

Penyimpanan analitik Azure Cosmos DB adalah representasi berorientasi kolom dari data operasional Anda di Azure Cosmos DB. Penyimpanan analitik ini cocok untuk kueri cepat dan hemat biaya pada himpunan data operasional besar. Penyimpanan ini dapat mengkueri data tanpa menyalin data dan memengaruhi performa beban kerja transaksional Anda.

Penyimpanan analitik secara otomatis mengambil sisipan, pembaruan, penghapusan frekuensi tinggi dalam beban kerja transaksional Anda mendekati real time, sebagai kemampuan yang dikelola sepenuhnya (sinkronisasi otomatis) dari Azure Cosmos DB. Tidak diperlukan umpan perubahan atau ETL.

Jika Anda memiliki akun Azure Cosmos DB yang didistribusikan secara global, setelah Anda mengaktifkan penyimpanan analitis untuk kontainer, itu akan tersedia di semua wilayah untuk akun tersebut. Untuk informasi selengkapnya tentang penyimpanan analitik, lihat artikel Gambaran umum penyimpanan Analitik Azure Cosmos DB.

Dengan Azure Synapse Link, Anda sekarang dapat langsung terhubung ke kontainer Azure Cosmos DB dari Azure Synapse Analytics dan mengakses penyimpanan analitik tanpa konektor terpisah. Azure Synapse Analytics saat ini mendukung Azure Synapse Link dengan Synapse Apache Spark dan kumpulan SQL tanpa server.

Anda dapat meminta data dari penyimpanan analitik Azure Cosmos DB secara bersamaan, dengan interop di berbagai analitik runtime yang didukung oleh Azure Synapse Analytics. Tidak diperlukan transformasi data tambahan untuk menganalisis data operasional. Anda dapat mengkueri dan menganalisis data penyimpanan analitis menggunakan:

  • Synapse Apache Spark dengan dukungan penuh untuk Scala, Python, SparkSQL, dan C #. Synapse Spark adalah pusat dari rekayasa data dan skenario sains data

  • Kumpulan SQL tanpa server dengan bahasa T-SQL dan mendukung alat BI yang sudah dikenal (misalnya, Power BI Premium, dsb.)

Catatan

Dari Azure Synapse Analytics, Anda dapat mengakses penyimpanan analitis dan transaksional di kontainer Azure Cosmos DB Anda. Namun, jika Anda ingin menjalankan analitik atau pemindaian skala besar pada data operasional Anda, sebaiknya Anda menggunakan penyimpanan analitis untuk menghindari dampak performa pada beban kerja transaksional.

Catatan

Anda dapat menjalankan analitik dengan latensi rendah di wilayah Azure dengan menyambungkan kontainer Azure Cosmos DB Anda ke runtime Synapse di wilayah tersebut.

Integrasi ini memungkinkan skenario HTAP berikut untuk pengguna yang berbeda:

  • Seorang teknisi BI yang ingin mencontoh dan menerbitkan laporan Power BI untuk mengakses data operasional langsung di Azure Cosmos DB langsung melalui Synapse SQL.

  • Seorang analis data yang ingin mendapatkan wawasan dari data operasional dalam kontainer Azure Cosmos DB dengan mengkuerinya dengan Synapse SQL, membaca data dalam skala besar dan menggabungkan temuan tersebut dengan sumber data lainnya.

  • Seorang ilmuwan data yang ingin menggunakan Synapse Spark untuk menemukan fitur untuk meningkatkan model mereka dan melatih model itu tanpa melakukan rekayasa data yang kompleks. Mereka juga dapat menulis hasil dari inferensi posting model ke Azure Cosmos DB untuk skor real-time pada data melalui Spark Synapse.

  • Seorang teknisi data yang ingin membuat data dapat diakses oleh konsumen, dengan membuat tabel SQL atau Spark melalui kontainer Azure Cosmos DB tanpa proses ETL manual.

Untuk informasi selengkapnya tentang dukungan runtime Azure Synapse Analytics untuk Azure Cosmos DB, lihat Dukungan Azure Synapse Analytics untuk Azure Cosmos DB.

Azure Synapse Link disarankan jika Anda adalah pelanggan Azure Cosmos DB dan Anda ingin menjalankan analitik, BI, dan pembelajaran mesin melalui data operasional Anda. Contohnya:

  • Jika Anda menjalankan analitik atau BI pada data operasional Azure Cosmos DB Anda secara langsung menggunakan konektor terpisah hari ini, atau

  • Jika Anda menjalankan proses ETL untuk mengekstrak data operasional ke dalam sistem analitik terpisah.

Dalam kasus seperti itu, Azure Synapse Link memberikan pengalaman analitik yang lebih terintegrasi tanpa memengaruhi throughput yang disediakan penyimpanan transaksional Anda.

Azure Synapse Link tidak disarankan jika Anda mencari persyaratan gudang data tradisional. Persyaratan ini dapat mencakup konkurensi tinggi, manajemen beban kerja, dan persistensi agregat di beberapa sumber data. Untuk informasi selengkapnya, lihat skenario umum yang dapat didukung dengan Azure Synapse Link for Azure Cosmos DB.

Batasan

  • Azure Synapse Link untuk Azure Cosmos DB didukung untuk API NoSQL dan MongoDB. Ini tidak didukung untuk Cassandra atau Table API dan tetap dalam pratinjau untuk Gremlin API.

  • Mengakses toko analitik Azure Cosmos DB dengan Kumpulan Azure Synapse Dedicated SQL saat ini tidak didukung.

  • Meskipun data penyimpanan analitis tidak dicadangkan, dan oleh karena itu tidak dapat dipulihkan, Anda dapat membangun kembali penyimpanan analitik Anda dengan mengaktifkan kembali Azure Synapse Link di kontainer yang dipulihkan. Periksa dokumentasi penyimpanan analitik untuk informasi selengkapnya.

  • Kemampuan untuk mengaktifkan Synapse Link di akun database dengan pencadangan berkelanjutan diaktifkan sekarang tersedia. Tetapi situasi yang berlawanan, untuk mengaktifkan pencadangan berkelanjutan di akun database yang diaktifkan Synapse Link, masih belum didukung.

  • Kontrol akses berbasis peran granular tidak didukung saat mengkueri dari Synapse. Pengguna yang memiliki akses ke ruang kerja Synapse Anda dan memiliki akses ke akun Azure Cosmos DB dapat mengakses semua kontainer dalam akun tersebut. Saat ini kami tidak mendukung akses yang lebih terperinci ke kontainer.

  • Saat ini Azure Synapse Workspaces tidak mendukung layanan tertaut menggunakan Managed Identity. Selalu gunakan opsi MasterKey.

  • Saat ini akun tulis multi-wilayah tidak direkomendasikan untuk lingkungan produksi.

Keamanan

Azure Synapse Link memungkinkan Anda menjalankan analitik mendekati real-time melalui data misi penting Anda di Azure Cosmos DB. Sangat penting untuk memastikan bahwa data bisnis penting disimpan dengan aman di penyimpanan transaksional dan analitik. Azure Synapse Link untuk Azure Cosmos DB dirancang untuk membantu memenuhi persyaratan keamanan ini melalui fitur-fitur berikut:

  • Isolasi jaringan menggunakan titik akhir pribadi - Anda dapat mengontrol akses jaringan ke data di penyimpanan transaksional dan analitis secara independen. Isolasi jaringan dilakukan menggunakan titik akhir pribadi terkelola terpisah untuk setiap penyimpanan, dalam jaringan virtual terkelola di ruang kerja Azure Synapse. Untuk mempelajari selengkapnya, lihat cara Mengonfigurasi titik akhir pribadi untuk artikel penyimpanan analitis.

  • Enkripsi data dengan kunci yang dikelola pelanggan - Anda dapat mengenkripsi data dengan lancar di seluruh penyimpanan transaksional dan analitis menggunakan kunci yang dikelola pelanggan yang sama secara otomatis dan transparan. Azure Synapse Link hanya mendukung konfigurasi kunci yang dikelola pelanggan menggunakan identitas terkelola akun Azure Cosmos DB Anda. Anda harus mengonfigurasi identitas terkelola akun Anda di kebijakan akses Azure Key Vault sebelum mengaktifkan Azure Synapse Link di akun Anda. Untuk mempelajari selengkapnya, lihat artikel cara Mengonfigurasi kunci yang dikelola pelanggan menggunakan identitas yang dikelola akun Azure Cosmos DB.

  • Manajemen kunci yang aman - Mengakses data di penyimpanan analitik dari Synapse Spark dan kumpulan SQL tanpa server Synapse mengharuskan mengelola kunci Azure Cosmos DB dalam ruang kerja Synapse Analytics. Sebagai ganti menggunakan kunci akun Azure Cosmos DB sebaris dalam pekerjaan Spark atau skrip SQL, Azure Synapse Link menyediakan kemampuan yang lebih aman:

Harga

Model penagihan Azure Synapse Link mencakup biaya yang dikeluarkan dengan menggunakan penyimpanan analitik Azure Cosmos DB dan runtime Synapse. Untuk mempelajari lebih lanjut, lihat harga Azure Cosmos DB analytical store dan artikel harga Azure Synapse Analytics.

Langkah berikutnya

Untuk mempelajari lebih lanjut, lihat dokumen berikut ini: