Apa yang Baru di Arsip Azure Synapse Analytics

  • Artikel

Artikel ini menjelaskan pembaruan bulan sebelumnya ke Azure Synapse Analytics. Untuk rilis bulan yang terbaru, lihat pembaruan terbaru Azure Synapse Analytics. Setiap tautan pembaruan ke blog Azure Synapse Analytics dan artikel yang memberikan informasi lebih lanjut.

Fitur yang tersedia secara umum

Tabel berikut ini mencantumkan riwayat sebelumnya tentang fitur Azure Synapse Analytics yang telah beralih dari pratinjau ke ketersediaan umum (GA).

Bulan Fitur Pelajari lebih lanjut
Juli 2022 Apache Spark™ 3.2 untuk Synapse Analytics Apache Spark™ 3.2 untuk Synapse Analytics sekarang tersedia secara umum. Tinjau catatan rilis resmi dan panduan migrasi antara Spark 3.1 dan 3.2 untuk menilai potensi perubahan di aplikasi Anda. Untuk detail selengkapnya, baca dukungan versi Apache Spark dan Azure Synapse Runtime untuk Apache Spark 3.2. Sorotan mengenai apa saja yang menjadi lebih baik di Spark 3.2 di Azure Synapse Analytics Pembaruan Juli 2022.
Juli 2022 Apache Spark dalam fitur Cache Cerdas Azure Synapse Cache Cerdas untuk Spark secara otomatis menyimpan setiap bacaan dalam ruang penyimpanan cache yang dialokasikan, mendeteksi perubahan file yang mendasar dan me-refresh file untuk menyediakan data terbaru. Untuk mempelajari lebih lanjut, lihat cara Mengaktifkan/Menonaktifkan cache untuk kumpulan Apache Spark Anda.
Juni 2022 Alat Data Peta Alat Data Peta merupakan proses terpandu untuk membantu Anda membuat pemetaan ETL dan memetakan aliran data dari data sumber Anda ke Synapse tanpa menulis kode. Untuk mempelajari lebih lanjut alat Data Peta, baca Data Peta di Azure Synapse Analytics.
Juni 2022 Fungsi yang Ditentukan Pengguna Fungsi yang ditentukan pengguna (UDF) sekarang tersedia secara umum. Untuk mempelajari lebih lanjut, baca Fungsi yang ditentukan pengguna dalam aliran data pemetaan.
Mei 2022 Konektor Azure Synapse Data Explorer untuk Power Automate, Logic Apps, dan Power Apps Konektor Azure Data Explorer untuk Power Automate memungkinkan Anda mengatur dan menjadwalkan alur, mengirim pemberitahuan dan peringatan, sebagai bagian dari tugas yang dijadwalkan atau dipicu. Untuk mempelajari selengkapnya, baca Konektor Azure Data Explorer untuk Microsoft Power Automate dan Contoh penggunaan untuk konektor Azure Data Explorer ke Power Automate.
April 2022 Pemulihan lintas langganan untuk SQL Azure Synapse Dengan pembaruan 3.8 modul Az.Sql, cmdlet Restore-AzSqlDatabase dapat digunakan untuk pemulihan lintas langganan kumpulan SQL khusus. Untuk mempelajari lebih lanjut, lihat Blog: Memulihkan kumpulan SQL khusus (sebelumnya SQL DW) ke langganan lain. Fitur ini sekarang tersedia secara umum untuk kumpulan SQL khusus (sebelumnya SQL DW) dan kumpulan SQL khusus di ruang kerja Synapse. Apa perbedaannya?
April 2022 Perancang Database Perancang database memungkinkan pengguna membuat database secara visual dalam Synapse Studio tanpa menulis satu baris kode pun. Untuk informasi selengkapnya, lihat Mengumumkan Ketersediaan Umum Perancang Database. Baca selengkapnya tentang database lake dan pelajari Cara mengubah database lake yang ada menggunakan perancang database.
April 2022 Templat Database Templat database khusus industri bari diperkenalkan di blog Ketersediaan Umum Templat Database Synapse. Pelajari lebih lanjut Templat database dan pengalaman eksplorasi yang ditingkatkan.
April 2022 Peran RBAC Operator Pemantauan Synapse Peran RBAC (kontrol akses berbasis peran) Operator Pemantauan Synapse memungkinkan persona pengguna memantau eksekusi aplikasi Spark dan Synapse Pipelines tanpa memiliki kemampuan untuk menjalankan atau membatalkan eksekusi aplikasi ini. Untuk informasi selengkapnya, tinjau Peran RBAC Synapse.
Maret 2022 Alur Flowlet membantu Anda merancang bagian logika aliran data baru, atau mengekstrak bagian dari aliran data yang ada, dan menyimpannya sebagai artefak terpisah di dalam ruang kerja Synapse Anda. Kemudian, Anda dapat menggunakan kembali Flowlet ini di dalam aliran data lainnya. Untuk mempelajari lebih lanjut, Tinjau posting blog pengumuman GA Flowlets dan baca Flowlets dalam aliran data pemetaan.
Maret 2022 Konektor Change Feed Transformasi sumber aliran data umpan (CDC) yang diubah untuk Azure Cosmos DB, Azure Blob Storage, ADLS Gen1, ADLS Gen2, dan Common Data Model (CDM) sekarang tersedia secara umum. Dengan hanya mencentang kotak, Anda dapat memberi tahu ADF untuk mengelola titik pemeriksaan secara otomatis untuk Anda dan hanya membaca baris terbaru yang diperbarui atau disisipkan sejak eksekusi alur terakhir. Untuk mempelajari lebih lanjut, tinjau posting blog pratinjau GA konektor Change Feed dan baca Menyalin dan mengubah data di Azure Data Lake Storage Gen2 menggunakan Azure Data Factory atau Azure Synapse Analytics.
Maret 2022 Enkripsi tingkat kolom untuk kumpulkan SQL khusus Enkripsi tingkat kolom sekarang umumnya tersedia untuk digunakan pada server logis Azure SQL baru dan yang sudah ada dengan kumpulan SQL khusus Azure Synapse dan kumpulan SQL khusus di ruang kerja Azure Synapse. Dukungan SQL Server Data Tools (SSDT) untuk enkripsi tingkat kolom untuk kumpulan SQL khusus tersedia mulai dari build 17.2 Pratinjau 2 Visual Studio 2022.
Maret 2022 Konektor Common Data Model (CDM) Synapse Spark Pembaca/penulis format CDM memungkinkan program Spark untuk membaca dan menulis entitas CDM dalam folder CDM melalui dataframes Spark. Untuk mempelajari lebih lanjut, lihat bagaimana konektor CDM mendukung membaca, menulis data, contoh, & masalah yang diketahui.
November 2021 PREDICT Sintaks PREDICT T-SQL sekarang tersedia secara umum untuk kumpulan SQL khusus. Memulai Wizard penilaian model pembelajaran mesin untuk kumpulan SQL khusus.
Oktober 2021 Peran RBAC Synapse Peran kontrol akses berbasis peran (RBAC) Synapse sekarang tersedia secara umum. Pelajari lebih lanjut Peran RBAC Synapse dan kontrol akses berbasis peran (RBAC) Azure Synapse menggunakan PowerShell.

Komunitas

Bagian ini adalah arsip peluang komunitas Azure Synapse Analytics dan program Azure Synapse Influencer dari Microsoft.

Bulan Fitur Pelajari lebih lanjut
Mei 2022 Program Azure Synapse Influencer Daftar untuk program Azure Synapse Influencer gratis kami dan terhubung dengan komunitas pengguna Synapse yang berdedikasi untuk membantu orang lain mencapai lebih banyak hal dengan analitik cloud. Daftar sekarang untuk Synapse Influencer kami berikutnya Tanyakan sesi Ahli. Anda dapat mengikuti sesi ini gratis dan semua orang dipersilakan berpartisipasi dan bergabung dalam diskusi tentang topik terkait Synapse. Anda dapat menonton acara Bertanya Pakar yang direkam sebelumnya di Channel YouTube Azure Synapse.
Maret 2022 Seri video YouTube Microsoft MVP dan Azure Synapse Analytics Aktivitas bersama dengan tim produk Azure Synapse dan komunitas Microsoft MVP, Seri Video MVP YouTube tentang fitur Azure Synapse baru telah diluncurkan. Lihat selengkapnya di channel YouTube Azure Synapse Analytics.

Apache Spark untuk Azure Synapse Analytics

Bagian ini adalah arsip fitur dan kemampuan Apache Spark untuk Azure Synapse Analytics.

Bulan Fitur Pelajari lebih lanjut
Mei 2022 Konektor kumpulan SQL khusus Azure Synapse untuk Apache Spark kini tersedia di Python Sebelumnya, Konektor Kumpulan SQL Khusus Azure Synapse untuk Apache Spark hanya tersedia menggunakan Scala. Sekarang, konektor kumpulan SQL khusus untuk Apache Spark dapat digunakan dengan Python di Spark 3.
Mei 2022 Mengelola konfigurasi Apache Spark Azure Synapse Dengan fitur konfigurasi Apache Spark baru, Anda dapat membuat artefak konfigurasi Spark mandiri dengan saran otomatis dan aturan validasi bawaan. Artefak konfigurasi Spark memungkinkan Anda berbagi konfigurasi Spark di dalam dan di seluruh ruang kerja Azure Synapse. Anda juga dapat dengan mudah mengaitkan konfigurasi Spark Anda dengan kumpulan Spark, Notebook, dan definisi kerja Spark untuk digunakan kembali dan meminimalkan kebutuhan untuk menyalin konfigurasi Spark di beberapa tempat.
April 2022 Apache Spark 3.2 untuk Synapse Analytics Apache Spark 3.2 untuk Synapse Analytics dengan ketersediaan pratinjau. Tinjau catatan rilis resmi Spark 3.2 dan panduan migrasi antara Spark 3.1 dan 3.2 untuk menilai potensi perubahan pada aplikasi Anda. Untuk detail selengkapnya, baca dukungan versi Apache Spark dan Azure Synapse Runtime untuk Apache Spark 3.2.
April 2022 Parameterisasi untuk definisi kerja Spark Anda sekarang dapat menetapkan parameter secara dinamis berdasarkan variabel, metadata, atau menentukan parameter khusus Alur untuk aktivitas definisi kerja Spark. Untuk detail selengkapnya, baca Mengubah data menggunakan definisi kerja Apache Spark.
April 2022 Rekam jepret buku catatan Apache Spark Anda bisa mengakses rekam jepret Notebook saat ada kegagalan eksekusi Buku Catatan Alur atau saat ada pekerjaan Notebook yang berjalan lama. Untuk mempelajari lebih lanjut, baca Mengubah data dengan menjalankan notebook Synapse dan Pengenalan utilitas Microsoft Spark.
Maret 2022 Konektor Common Data Model (CDM) Synapse Spark Pembaca/penulis format CDM memungkinkan program Spark untuk membaca dan menulis entitas CDM dalam folder CDM melalui dataframes Spark. Untuk mempelajari lebih lanjut, lihat bagaimana konektor CDM mendukung membaca, menulis data, contoh, & masalah yang diketahui.
Maret 2022 Pengoptimalan performa untuk konektor kumpulan SQL khusus Synapse Spark Peningkatan baru pada Konektor Kumpulan SQL Khusus Azure Synapse untuk Apache Spark mengurangi pergerakan data dan memanfaatkan COPY INTO. Pengujian performa menunjukkan setidaknya ~5x peningkatan dari versi sebelumnya. Pengguna tidak perlu melakukan tindakan untuk memanfaatkan penyempurnaan ini. Untuk informasi selengkapnya, lihat Blog: Konektor Kumpulan SQL Khusus (DW) Synapse Spark: Peningkatan Performa.
Maret 2022 Dukungan untuk semua pilihan Spark Dataframe SaveMode Konektor Kumpulan SQL Khusus Azure Synapse untuk Apache Spark sekarang mendukung semua empat pilihan Spark Dataframe SaveMode: Append, Overwrite, ErrorIfExists, Ignore. Untuk informasi selengkapnya tentang Spark SaveMode, baca dokumentasi Apache Spark resmi.
Maret 2022 Apache Spark dalam fitur Cache Cerdas Azure Synapse Analytics Cache Cerdas untuk Spark secara otomatis menyimpan setiap bacaan dalam ruang penyimpanan cache yang dialokasikan, mendeteksi perubahan file yang mendasar dan me-refresh file untuk menyediakan data terbaru. Untuk mempelajari lebih lanjut fitur pratinjau ini, lihat cara Mengaktifkan/Menonaktifkan cache untuk kumpulan Apache Spark atau lihat posting blog.

Integrasi data

Bagian ini adalah arsip fitur dan kemampuan integrasi data Azure Synapse Analytics. Pelajari cara Memuat data ke Azure Synapse Analytics menggunakan Azure Data Factory (ADF) atau alur Synapse.

Bulan Fitur Pelajari lebih lanjut
Juni 2022 Pratinjau konektor SAP CDC Konektor data baru untuk SAP Change Data Capture (CDC) sekarang tersedia dalam pratinjau. Untuk informasi selengkapnya, lihat Mengumumkan Pratinjau Umum solusi SAP CDC di Azure Data Factory dan Azure Synapse Analytics serta solusi SAP CDC di Azure Data Factory.
Juni 2022 Opsi gabungan fuzzy dalam Transformasi Gabungan Gunakan pencocokan fuzzy dengan penggeser skor ambang kesamaan yang telah ditambahkan ke Transformasi gabungan dalam Aliran Data Pemetaan.
Juni 2022 GA alat Data Peta Kami sangat antusias mengumumkan bahwa alat Data Peta sekarang Tersedia Secara Umum. Alat Data Peta merupakan proses terpandu untuk membantu Anda membuat pemetaan ETL dan memetakan aliran data dari data sumber Anda ke Synapse tanpa menulis kode.
Juni 2022 Jalankan ulang alur dengan parameter baru Anda sekarang dapat mengubah parameter alur saat menjalankan kembali alur dari halaman Pemantauan tanpa harus kembali ke editor alur. Untuk mempelajari lebih lanjut, baca Menjalankan ulang alur dan aktivitas.
Juni 2022 GA Fungsi yang Ditentukan Pengguna Fungsi yang ditentukan pengguna (UDF) dalam aliran data pemetaan sekarang tersedia secara umum (GA).
Mei 2022 Mengekspor pemantauan alur sebagai CSV Kemampuan untuk mengekspor pemantauan alur ke CSV dan peningkatan pemantauan lainnya telah diperkenalkan ke ADF.
Mei 2022 Pemuatan data sumber yang bertambah bertahap otomatis dari PostgreSQL dan MySQL Pemuatan data sumber yang bertambah bertahap otomatis dari PostgreSQL dan MySQL untuk Synapse SQL dan Azure Database kini tersedia secara native di ADF.
Mei 2022 Penanganan kesalahan transformasi pernyataan Penanganan kesalahan sekarang telah ditambahkan ke sink setelah transformasi pernyataan dalam aliran data pemetaan. Anda sekarang dapat memilih apakah akan menghasilkan baris yang gagal ke sink yang dipilih atau ke file terpisah.
Mei 2022 Pengeditan proyeksi aliran data pemetaan Dalam aliran data pemetaan, sekarang Anda dapat memperbarui jenis kolom dan nama kolom proyeksi sumber.
April 2022 Konektor Dataverse untuk Aliran Data Synapse Dataverse sekarang menjadi konektor sumber dan sink ke Aliran Data Synapse. Anda dapat Menyalin dan mentransformasikan data dari Dynamics 365 (Microsoft Dataverse) atau Dynamics CRM menggunakan Azure Data Factory atau Azure Synapse Analytics.
April 2022 Batas waktu respons aktivitas Web Alur Synapse yang dapat dikonfigurasi Dengan properti batas waktu respons httpRequestTimeout, Anda dapat menentukan batas waktu untuk permintaan HTTP hingga 10 menit. Aktivitas web bekerja sangat baik dengan API yang mengikuti pola balasan permintaan asinkron, pendekatan yang disarankan untuk membangun layanan/API web yang dapat diskalakan.
Maret 2022 Konektor sFTP untuk aliran data Synapse Konektor sftp native di aliran data Synapse didukung untuk membaca dan menulis data dari sFTP menggunakan antarmuka aliran data kode rendah visual di Synapse. Untuk mempelajari lebih lanjut, lihat Menyalin dan mengubah data di server SFTP menggunakan Azure Data Factory atau Azure Synapse Analytics.
Maret 2022 Peningkatan aliran data untuk Pratinjau Data Tinjau fitur yang ditambahkan ke Pratinjau Data dan peningkatan debug dalam Aliran Data Pemetaan.
Maret 2022 Aktivitas skrip alur Anda sekarang dapat Mengubah data menggunakan aktivitas Skrip untuk memanggil perintah SQL guna melakukan DDL dan DML.
Desember 2021 Partisi kustom untuk link Synapse untuk Azure Cosmos DB Tingkatkan waktu eksekusi kueri untuk kueri Spark Anda, dengan membuat partisi kustom berdasarkan bidang yang sering digunakan dalam kueri Anda. Untuk mempelajari lebih lanjut, lihat Pemartisian kustom di Azure Synapse Link untuk Azure Cosmos DB (Pratinjau).

Templat Database & Perancang Database

Bagian ini adalah arsip fitur dan kemampuan templat database dan perancang database.

Bulan Fitur Pelajari lebih lanjut
April 2022 Perancang Database Perancang database memungkinkan pengguna membuat database secara visual dalam Synapse Studio tanpa menulis satu baris kode pun. Untuk informasi selengkapnya, lihat Mengumumkan Ketersediaan Umum Perancang Database. Baca selengkapnya tentang database lake dan pelajari Cara mengubah database lake yang ada menggunakan perancang database.
April 2022 Templat Database Templat database khusus industri bari diperkenalkan di blog Ketersediaan Umum Templat Database Synapse. Pelajari lebih lanjut Templat database dan pengalaman eksplorasi yang ditingkatkan.
April 2022 Mengklon database lake Di Synapse Studio, sekarang Anda dapat mengklon database menggunakan menu tindakan yang tersedia di database lake. Untuk mempelajari lebih lanjut, baca Cara: Mengkloning database lake.
April 2022 Menggunakan wildcard untuk menentukan hierarki folder kustom Database lake berada di atas data yang ada di lake dan data ini dapat berada di folder berlapis yang tidak cocok dengan pola partisi bersih. Sekarang Anda dapat menggunakan kartubebas untuk menentukan hierarki folder kustom. Untuk mempelajari lebih lanjut, baca Cara: Memodifikasi datalake.
2022 Januari Templat database baru Pelajari lebih lanjut templat Otomotif, Genomika, Manufaktur, dan Farmasi khusus industri baru dan mulai menggunakan templat database di galeri Synapse Studio.

Pengalaman pengembang

Bagian ini adalah arsip kualitas hidup dan peningkatan fitur untuk pengembang di Azure Synapse Analytics.

Bulan Fitur Pelajari lebih lanjut
Mei 2022 Laporan Azure Synapse Analyzer yang Diperbarui Pelajari fitur baru di laporan Synapse Analyzer versi 2.0.
April 2022 Laporan Azure Synapse Analyzer Laporan Azure Synapse Analyzer membantu Anda mengidentifikasi masalah umum yang mungkin ada di database Anda yang dapat menyebabkan masalah performa.
April 2022 Mereferensikan notebook yang tidak dipublikasikan Sekarang, saat menggunakan %run notebooks, Anda dapat mengaktifkan 'referensi notebook yang tidak dipublikasikan', yang akan memungkinkan Anda mereferensikan notebook yang tidak dipublikasikan. Saat diaktifkan, eksekusi buku catatan akan mengambil konten saat ini di cache web buku catatan, yang berarti perubahan di editor buku catatan Anda dapat segera direferensikan oleh buku catatan lain tanpa harus diterbitkan (mode Langsung) atau diterapkan (mode Git).
Maret 2022 Sel kode dengan pengecualian untuk menampilkan output standar Sekarang di notebook Synapse, output standar dan pesan pengecualian ditampilkan ketika pernyataan kode gagal untuk bahasa Python dan Scala. Misalnya, lihat Buku catatan Synapse: Sel kode dengan pengecualian untuk menampilkan output standar.
Maret 2022 Output parsial tersedia untuk menjalankan sel kode notebook Sekarang di notebook Synapse, Anda dapat melihat apa pun yang Anda tulis (misalnya dengan perintah println) saat sel dijalankan, alih-alih menunggu hingga berakhir. Misalnya, lihat Notebook Synapse: Output parsial tersedia untuk menjalankan sel kode notebook .
Maret 2022 Mengontrol secara dinamis konfigurasi sesi Spark Anda dengan parameter alur Sekarang di notebook Synapse, Anda dapat menggunakan parameter alur untuk mengonfigurasi sesi dengan notebook %%configure magic. Misalnya, lihat Notebook Synapse: Mengontrol konfigurasi sesi Spark Anda secara dinamis dengan parameter alur.
Maret 2022 Menggunakan kembali dan mengelola sesi notebook Sekarang di notebook Synapse, mudah untuk menggunakan kembali sesi aktif dengan mudah tanpa harus memulai sesi baru dan untuk melihat dan mengelola sesi aktif Anda di daftar Sesi aktif. Untuk menampilkan sesi Anda, pilih 3 titik di notebook dan pilih Kelola sesi. Misalnya, lihat Notebook Synapse: Menggunakan kembali dan mengelola sesi notebook.
Maret 2022 Dukungan untuk pengelogan Python Sekarang di notebook Synapse, apa pun yang ditulis melalui modul pengelogan Python diambil, selain log driver. Misalnya, lihat Notebook Synapse: Dukungan untuk pengelogan Python.

Machine Learning

Bagian ini adalah arsip fitur dan peningkatan model pembelajaran mesin di Azure Synapse Analytics.

Bulan Fitur Pelajari lebih lanjut
Juni 2022 Pelatihan Deep Neural Network Terdistribusi (pratinjau) Runtime Azure Synapse juga menyertakan pustaka pendukung seperti Petastorm dan Horovod, yang umumnya digunakan untuk pelatihan terdistribusi. Fitur ini sedang dalam pratinjau. Runtime Azure Synapse Analytics untuk Apache Spark 3.1 dan 3.2 sekarang menyertakan juga dukungan untuk pustaka pembelajaran mendalam yang paling umum, seperti TensorFlow dan PyTorch. Untuk mempelajari selengkapnya tentang cara memanfaatkan pustaka ini dalam kumpulan yang dipercepat GPU Azure Synapse Analytics Anda, baca Tutorial pembelajaran mendalam.
November 2021 PREDICT Sintaks PREDICT T-SQL sekarang tersedia secara umum untuk kumpulan SQL khusus. Memulai Wizard penilaian model pembelajaran mesin untuk kumpulan SQL khusus.

Sampel dan panduan

Bagian ini adalah arsip panduan dan contoh sumber daya proyek untuk Azure Synapse Analytics.

Bulan Fitur Pelajari lebih lanjut
Juni 2022 Analitik Azure Orbital dengan Synapse Analytics Kami sekarang menawarkan solusi sampel analisis Azure Orbital yang menampilkan implementasi menyeluruh dari mengekstrak, memuat, mengubah, dan menganalisis data spaceborne menggunakan pustaka geospasial dan model AI dengan Azure Synapse Analytics. Solusi sampel juga menunjukkan cara mengintegrasikan model layanan Azure AI khusus geospasial, model AI dari mitra, dan model data bawaan Anda sendiri.
Juni 2022 Panduan migrasi untuk Oracle Panduan migrasi baru yang dibuat Microsoft untuk Oracle ke Azure Synapse Analytics sekarang tersedia. Desain dan performa untuk migrasi Oracle.
Juni 2022 Azure Synapse sukses berdasarkan desain Playbook bukti konsep Azure Synapse menyediakan panduan untuk mencakup, mendesain, mengeksekusi, dan mengevaluasi bukti konsep untuk beban kerja SQL atau Spark.
Juni 2022 Panduan migrasi untuk Teradata Panduan migrasi baru yang dibuat Microsoft untuk Teradata ke Azure Synapse Analytics sekarang tersedia. Desain dan performa untuk migrasi Teradata.
Juni 2022 Panduan migrasi untuk IBM Netezza Panduan migrasi baru yang dibuat Microsoft untuk IBM Netezza ke Azure Synapse Analytics sekarang tersedia. Desain dan performa untuk migrasi IBM Netezza.

Keamanan

Bagian ini adalah arsip fitur dan pengaturan keamanan di Azure Synapse Analytics.

Bulan Fitur Pelajari lebih lanjut
April 2022 Peran RBAC Operator Pemantauan Synapse Peran kontrol akses berbasis peran (RBAC) Operator Pemantauan Synapse memungkinkan persona pengguna memantau eksekusi aplikasi Spark dan Synapse Pipelines tanpa memiliki kemampuan untuk menjalankan atau membatalkan eksekusi aplikasi ini. Untuk informasi selengkapnya, tinjau Peran RBAC Synapse.
Maret 2022 Menerapkan versi TLS minimal Anda sekarang dapat menaikkan atau menurunkan versi TLS minimum untuk kumpulan SQL khusus di ruang kerja Synapse. Untuk mempelajari lebih lanjut, lihat pengaturan konektivitas Azure SQL. SQL API yang dikelola ruang kerja dapat digunakan untuk mengubah pengaturan TLS minimum.
Maret 2022 Azure Synapse Analytics sekarang hanya mendukung autentikasi Azure Active Directory (Azure AD) Sekarang Anda dapat menggunakan autentikasi Azure Active Directory untuk mengelola akses secara terpusat ke semua sumber daya Azure Synapse, termasuk kumpulan SQL. Anda dapat menonaktifkan autentikasi lokal setelah pembuatan atau setelah ruang kerja dibuat melalui portal Azure.
Desember 2021 Identitas terkelola yang Ditetapkan Pengguna Sekarang Anda dapat menggunakan identitas terkelola yang ditetapkan pengguna dalam layanan tertaut untuk autentikasi di Alur dan Aliran Data Synapse. Untuk mempelajari lebih lanjut, lihat Info Masuk di Azure Data Factory dan Azure Synapse.
Desember 2021 Menelusuri folder ADLS Gen2 di ruang kerja Azure Synapse Analytics Anda sekarang dapat menelusuri dan mengamankan kontainer atau folder Azure Data Lake Storage Gen2 (ADLS Gen2) di ruang kerja Azure Synapse Analytics dengan menghubungkan ke kontainer atau folder tertentu di Synapse Studio.
Desember 2021 TLS 2.1 diterapkan untuk Ruang Kerja Synapse baru Mulai Desember 2021, persyaratan untuk TLS 1.2 telah diterapkan hanya untuk Ruang Kerja Synapse baru.

Azure Synapse Data Explorer

Azure Data Explorer (ADX) adalah layanan eksplorasi data yang cepat dan sangat dapat diskalakan untuk data log dan telemetri. Layanan ini menawarkan penyerapan dari Azure Event Hubs, IoT Hubs, blob yang ditulis ke kontainer blob, dan pekerjaan Azure Stream Analytics. Bagian ini adalah arsip fitur dan kemampuan Azure Synapse Data Explorer dan Bahasa Kueri Kusto (KQL). Baca selengkapnya tentang Apa perbedaan antara Azure Synapse Data Explorer dan Azure Data Explorer? (Pratinjau)

Bulan Fitur Pelajari lebih lanjut
Juni 2022 Halaman beranda baru Web Explorer Halaman beranda Web Explorer Azure Synapse yang baru membuat Synapse Web Explorer jadi lebih mudah digunakan.
Juni 2022 Galeri sampel Web Explorer Galeri sampel Web Explorer menyediakan sampel end-to-end tentang bagaimana pelanggan memanfaatkan kasus penggunaan populer Synapse Data Explorer seperti Data Log, Data Metrik, data IoT, dan contoh big data Dasar.
Juni 2022 Dasbor Web Explorer menelusuri melalui kemampuan Sekarang Anda dapat menggunakan drillthrough sebagai parameter di dasbor Synapse Web Explorer Anda.
Juni 2022 Pengaturan Zona Waktu untuk Web Explorer Pengaturan Zona Waktu Web Explorer sekarang berlaku untuk hasil Kueri dan Dasbor. Dengan mengubah zona waktu, dasbor akan di-refresh secara otomatis untuk menyajikan data dengan zona waktu yang dipilih.
Mei 2022 Kueri langsung Data Explorer Synapse di Excel Menggunakan fitur Buka di Excel pengalaman web Data Explorer baru, sekarang Anda bisa menyediakan akses ke hasil langsung kueri Anda dengan berbagi Buku Kerja Excel yang tersambung dengan kolega dan anggota tim. Anda bisa membuka kueri langsung dalam buku kerja Excel dan me-refreshnya langsung dari Excel untuk mendapatkan hasil kueri terbaru. Untuk membuat Buku kerja Excel yang tersambung ke Synapse Data Explorer, mulailah dengan menjalankan kueri dalam pengalaman Web.
Mei 2022 Menggunakan Identitas Terkelola untuk tabel SQL Server eksternal Dengan dukungan Identitas Terkelola, definisi tabel Synapse Data Explorer sekarang lebih sederhana dan lebih aman. Anda sekarang dapat menggunakan identitas terkelola, alih-alih memasukkan info masuk Anda. Untuk mempelajari selengkapnya tentang tabel eksternal, baca Membuat dan mengubah tabel eksternal SQL Server.
Mei 2022 Konektor Azure Synapse Data Explorer untuk Microsoft Power Automate, Logic Apps, dan Power Apps Konektor Azure Data Explorer baru untuk Power Automate tersedia secara umum (GA). Untuk mempelajari lebih lanjut, baca Konektor Azure Data Explorer untuk Microsoft Power Automate, Microsoft Logic App dan Azure Data Explorer, serta kemampuan untuk Membuat aplikasi Power Apps untuk mengkueri data di Azure Data Explorer.
Mei 2022 Perutean aktivitas dinamis dari pusat aktivitas ke beberapa database Kami sekarang mendukung data peristiwa perutean dari Azure Event Hub/Azure IoT Hub/Azure Event Grid ke beberapa database yang dihosting dalam satu kluster ADX. Untuk mempelajari selengkapnya tentang perutean dinamis, baca Menyerap dari hub peristiwa.
Mei 2022 Mengonfigurasi database menggunakan skrip sebaris KQL sebagai bagian dari templat penyebaran JSON ARM Menjalankan skrip Bahasa Kueri Kusto (KQL) untuk mengonfigurasi database Anda sekarang dapat dilakukan menggunakan skrip sebaris yang disediakan sebaris sebagai parameter ke templat JSON ARM.

Azure Synapse Link adalah sistem otomatis untuk mereplikasi data dari SQL Server atau Azure SQL Database, Azure Cosmos DB, atau Dataverse ke Azure Synapse Analytics. Bagian ini adalah arsip berita tentang fitur Azure Synapse Link.

Bulan Fitur Pelajari lebih lanjut
Mei 2022 Azure Synapse Link untuk pratinjau SQL Azure Synapse Link untuk SQL sedang dalam pratinjau untuk SQL Server 2022 dan Azure SQL Database. Fitur Azure Synapse Link menyediakan replikasi data mendekati real-time yang rendah dan tanpa kode dari penyimpanan operasional berbasis SQL Anda ke Azure Synapse Analytics. Sediakan pelaporan BI pada data operasional yang mendekati real-time, dengan dampak minimal pada penyimpanan operasional Anda. Link Azure Synapse untuk pratinjau SQL telah diumumkan. Untuk informasi selengkapnya, lihat Blog: Azure Synapse Link untuk SQL Deep Dive.

Synapse SQL

Bagian ini adalah arsip peningkatan dan fitur di kumpulan SQL di Azure Synapse Analytics.

Bulan Fitur Pelajari lebih lanjut
Juni 2022 Peningkatan batas ukuran tataan hasil Ukuran maksimum tataan hasil kueri di kumpulan SQL tanpa server telah ditingkatkan dari 200 GB ke 400 GB.
Mei 2022 Penghitungan panjang kolom karakter otomatis untuk kumpulan SQL tanpa server Tidak perlu lagi menentukan panjang kolom karakter untuk kumpulan SQL tanpa server di data lake. Anda bisa mendapatkan performa kueri optimal tanpa harus menentukan skema, karena kumpulan SQL tanpa server akan menggunakan estimasi kardinalitas dan panjang kolom rata-rata yang dihitung secara otomatis.
April 2022 Pemulihan lintas langganan untuk GA SQL Azure Synapse Dengan pembaruan 3.8 modul Az.Sql, cmdlet Restore-AzSqlDatabase dapat digunakan untuk pemulihan lintas langganan kumpulan SQL khusus. Untuk mempelajari lebih lanjut, lihat Memulihkan kumpulan SQL khusus ke langganan lain. Fitur ini sekarang tersedia secara umum untuk kumpulan SQL khusus (sebelumnya SQL DW) dan kumpulan SQL khusus di ruang kerja Synapse. Apa perbedaannya?
April 2022 Memulihkan kumpulan SQL dari ruang kerja atau server yang dihilangkan Dengan cmdlet Pemulihan PowerShell di modul Az.Sql dan Az.Synapse, Anda sekarang dapat memulihkan dari ruang kerja atau server yang dihapus tanpa mengajukan tiket dukungan. Untuk informasi selengkapnya, lihat Memulihkan kumpulan SQL khusus dari ruang kerja Azure Synapse yang dihapus atau Memulihkan kumpulan SQL khusus mandiri (sebelumnya SQL DW) dari server yang dihapus, bergantung pada skenario Anda.
Maret 2022 Enkripsi tingkat kolom untuk kumpulkan SQL khusus Enkripsi tingkat kolom sekarang umumnya tersedia untuk digunakan pada server logis Azure SQL baru dan yang sudah ada dengan kumpulan SQL khusus Azure Synapse dan kumpulan SQL khusus di ruang kerja Azure Synapse. Dukungan SQL Server Data Tools (SSDT) untuk enkripsi tingkat kolom untuk kumpulan SQL khusus tersedia mulai dari build 17.2 Pratinjau 2 Visual Studio 2022.
Maret 2022 Eksekusi paralel untuk CETAS Performa yang lebih baik untuk CREATE TABLE AS SELECT (CETAS) dan pernyataan SELECT berikutnya sekarang dimungkinkan dengan penggunaan rencana eksekusi paralel. Misalnya, lihat Performa yang lebih baik untuk CETAS dan SELECT berikutnya.

Pembaruan bulanan sebelumnya di Azure Synapse Analytics

Berikut ini adalah format pembaruan berita bulanan sebelumnya untuk Synapse Analytics.

Pembaruan Juni 2022

Umum

  • Analitik Azure Orbital dengan Synapse Analytics - Kami sekarang menawarkan solusi sampel analitik Azure Orbital yang menunjukkan implementasi end-to-end dari mengekstrak, memuat, mengubah, dan menganalisis data spaceborne menggunakan pustaka geospasial dan model AI dengan Azure Synapse Analytics. Solusi sampel juga menunjukkan cara mengintegrasikan model layanan Azure AI khusus geospasial, model AI dari mitra, dan model data bawaan Anda sendiri.

  • Success by design Synapse Analytics - Keberhasilan proyek bukanlah hal yang tidak disengaja dan membutuhkan perencanaan juga eksekusi yang matang. Playbook Sukses dengan Desain Synapse Analytics sekarang tersedia. Playbook bukti konsep Azure Synapse menyediakan panduan untuk mencakup, mendesain, mengeksekusi, dan mengevaluasi bukti konsep untuk beban kerja SQL atau Spark. Panduan ini berisi praktik terbaik dari implementasi solusi yang paling menantang dan kompleks yang menggabungkan Azure Synapse. Untuk mempelajari selengkapnya tentang playbook bukti konsep Azure Synapse, baca Success by Design.

SQL

Peningkatan batas ukuran hasil - Kami tahu bahwa Anda beralih ke Azure Synapse Analytics untuk bekerja dengan data dalam jumlah besar. Mengingat hal tersebut, ukuran maksimum hasil kueri di kumpulan SQL Tanpa Server telah ditingkatkan dari 200 GB menjadi 400 GB. Batas ini dibagikan di antara kueri secara serentak. Untuk mempelajari selengkapnya tentang peningkatan batas ukuran ini dan batasan lainnya, baca Bantuan mandiri untuk kumpulan SQL tanpa server.

Penjelajah data Synapse

  • Beranda baru Penjelajah Web - Beranda Penjelajah Web Synapse yang baru membuat Penjelajah Web Synapse jadi lebih mudah digunakan. Beranda Penjelajah Web sekarang menyertakan bagian berikut:

    • Memulai - Galeri sampel menawarkan contoh kueri dan dasbor untuk kasus penggunaan Data Explorer Synapse populer.
    • Direkomendasikan – Modul pembelajaran populer yang dirancang untuk membantu Anda menguasai KQL dan Penjelajah Web Synapse.
    • Dokumentasi – Dokumentasi dasar dan tingkat lanjut Penjelajah Web Synapse.

  • Galeri sampel Penjelajah Web - Cara tepat untuk mempelajari suatu produk adalah dengan melihat bagaimana ia digunakan oleh orang lain. Galeri sampel Penjelajah Web menyediakan sampel end-to-end tentang bagaimana pelanggan memanfaatkan kasus penggunaan populer Data Explorer Synapse seperti Data Log, Data Metrik, data IoT, dan contoh big data Dasar. Setiap sampel mencakup himpunan data, kueri yang didokumentasikan dengan baik, dan dasbor sampel. Untuk mempelajari selengkapnya tentang galeri sampel, baca Azure Data Explorer dalam 60 menit dengan galeri sampel yang baru.

  • Kemampuan penelusuran dasbor Penjelajah Web - Anda sekarang dapat menambahkan kemampuan penelusuran ke dasbor Penjelajah Web Synapse. Kemampuan penelusuran baru ini memungkinkan Anda untuk dengan mudah melompat bolak-balik di antara halaman dasbor. Hal ini dimungkinkan menggunakan filter kontekstual untuk menyambungkan dasbor Anda. Menentukan penelusuran kontekstual ini dilakukan dengan mengedit interaksi visual petak peta yang dipilih di dasbor Anda. Untuk mempelajari selengkapnya tentang kemampuan penelusuran, baca Menggunakan drillthrough sebagai parameter dasbor.

  • Pengaturan Zona Waktu untuk Penjelajah Web - Mampu menampilkan data di zona waktu yang berbeda sangatlah berguna. Anda sekarang dapat memutuskan untuk menampilkan data dalam zona waktu UTC, zona waktu lokal Anda, atau zona waktu perangkat/komputer yang dipantau. Pengaturan Zona Waktu Web Explorer sekarang berlaku untuk hasil Kueri dan Dasbor. Dengan mengubah zona waktu, dasbor akan di-refresh secara otomatis untuk menyajikan data dengan zona waktu yang dipilih. Untuk informasi selengkapnya tentang pengaturan zona waktu, baca Mengubah tanggalwaktu ke zona waktu tertentu.

Integrasi data

  • Opsi Gabungan Fuzzy dalam Transformasi Gabungan - Pencocokan Fuzzy dengan opsi skor kesamaan geser telah ditambahkan ke transformasi Gabung dalam Pemetaan Aliran Data. Anda dapat membuat gabungan dalam dan luar pada nilai data yang serupa daripada kecocokan persis! Sebelumnya, Anda harus menggunakan kecocokan yang tepat. Nilai skala geser berubah dari 60% menjadi 100%, sehingga mudah untuk menyesuaikan ambang kesamaan kecocokan. Untuk mempelajari selengkapnya tentang gabungan fuzzy, baca Transformasi gabungan dalam pemetaan aliran data.

  • Pemetaan Data [Tersedia Secara Umum] - Kami sangat senang mengumumkan bahwa alat Data Peta sekarang Tersedia Secara Umum. Alat Data Peta merupakan proses terpandu untuk membantu Anda membuat pemetaan ETL dan memetakan aliran data dari data sumber Anda ke Synapse tanpa menulis kode. Untuk mempelajari selengkapnya tentang Pemetaan Data, baca Pemetaan Data di Azure Synapse Analytics.

  • Menjalankan ulang alur dengan parameter baru - Anda sekarang dapat mengubah parameter alur saat menjalankan kembali alur dari halaman Pemantauan tanpa harus kembali ke editor alur. Setelah menjalankan alur dengan parameter baru, Anda dapat dengan mudah memantau eksekusi baru terhadap yang lama tanpa harus beralih antar halaman. Untuk mempelajari selengkapnya tentang menjalankan ulang alur dengan parameter baru, baca Menjalankan ulang alur dan aktivitas.

  • Fungsi yang Ditentukan Pengguna [Tersedia Secara Umum] - Kami sangat senang mengumumkan bahwa fungsi yang ditentukan pengguna (UDF) sekarang Tersedia Secara Umum. Dengan fungsi yang ditentukan pengguna, Anda dapat membuat ekspresi yang disesuaikan yang dapat digunakan kembali di beberapa aliran data pemetaan. Anda tidak lagi harus menggunakan manipulasi string yang sama, perhitungan matematika, atau logika kompleks lainnya beberapa kali. Fungsi yang ditentukan pengguna akan dikelompokkan dalam pustaka untuk membantu pengembang mengelompokkan serangkaian fungsi umum. Untuk mempelajari selengkapnya tentang fungsi yang ditentukan pengguna, baca Fungsi yang ditentukan pengguna dalam aliran data pemetaan.

Pembelajaran Mesin

Pelatihan Jaringan Neural Mendalam Terdistribusi dengan Horovod dan Petastorm [Pratinjau Umum] - Untuk menyederhanakan proses pembuatan dan pengelolaan kumpulan yang dipercepat GPU, Azure Synapse menangani pra-penginstalan pustaka tingkat rendah dan menyiapkan semua persyaratan jaringan yang kompleks di antara node komputasi. Integrasi ini memungkinkan pengguna untuk memulai dengan kumpulan yang dipercepat GPU hanya dalam beberapa menit.

Azure Synapse Analytics sekarang menyediakan dukungan bawaan untuk infrastruktur pembelajaran mendalam. Runtime Azure Synapse Analytics untuk Apache Spark 3.1 dan 3.2 sekarang menyertakan dukungan untuk pustaka pembelajaran mendalam yang paling umum, seperti TensorFlow dan PyTorch. Runtime Azure Synapse juga menyertakan pustaka pendukung seperti Petastorm dan Horovod, yang umumnya digunakan untuk pelatihan terdistribusi. Fitur ini sedang dalam Pratinjau Umum.

Untuk mempelajari selengkapnya tentang cara memanfaatkan pustaka ini dalam kumpulan yang dipercepat GPU Azure Synapse Analytics Anda, baca Tutorial pembelajaran mendalam.

Pembaruan Mei 2022

Pembaruan berikut baru untuk Azure Synapse Analytics bulan ini.

Umum

Terhubunglah dengan program Azure Synapse Influencer baru!Bergabunglah dengan komunitas Azure Synapse Influencer yang saling membantu mencapai lebih banyak hal dengan analitik cloud! Program Azure Synapse Influencer mengenali pengguna dan pendukung Azure Synapse Analytics yang secara aktif mendukung komunitas dengan membagikan konten, pengumuman, dan berita produk terkait Synapse melalui media sosial.

SQL

  • Panduan Migrasi Gudang Data untuk Kumpulan SQL Khusus di Azure Synapse Analytics - Dengan manfaat yang ditawarkan migrasi cloud, kami mendengar bahwa Anda sering mencari langkah, proses, atau panduan untuk diikuti guna migrasi cepat dan mudah dari lingkungan gudang data yang ada. Kami baru saja merilis serangkaian panduan migrasi Gudang Data untuk membuat transisi Anda ke Kumpulan SQL khusus di Azure Synapse Analytics lebih mudah.

  • Perhitungan panjang kolom karakter otomatis - Tidak perlu lagi menentukan panjang kolom karakter! Kumpulan SQL tanpa server memungkinkan Anda mengkueri file di data lake tanpa mengetahui skema di muka. Praktik terbaik adalah menentukan panjang kolom karakter untuk mendapatkan performa optimal. Tidak lagi! Dengan fitur baru ini, Anda bisa mendapatkan performa kueri yang optimal tanpa harus menentukan skema. Kumpulan SQL tanpa server akan menghitung panjang kolom rata-rata untuk setiap kolom karakter atau kolom karakter yang disimpulkan yang ditentukan lebih besar dari 100 byte. Skema akan tetap sama, sementara kumpulan SQL tanpa server akan menggunakan panjang kolom rata-rata terhitung secara internal. Ini juga akan secara otomatis menghitung estimasi kardinalitas jika tidak ada statistik yang dibuat sebelumnya.

Apache Spark untuk Synapse

  • Konektor Kumpulan SQL Khusus Azure Synapse untuk Apache Spark Sekarang Tersedia di Python - Sebelumnya, konektor Kumpulan SQL Khusus Azure Synapse hanya tersedia menggunakan Scala. Sekarang, itu dapat digunakan dengan Python di Spark 3. Satu-satunya perbedaan antara implementasi Scala dan Python adalah handel panggilan balik Scala opsional, yang memungkinkan Anda menerima metrik pasca-tulis.

    Berikut ini sekarang didukung di Python di Spark 3:

    • Baca menggunakan Autentikasi Azure Active Directory (AD) atau Autentikasi Dasar
    • Menulis ke Tabel Internal menggunakan Autentikasi Azure AD atau Autentikasi Dasar
    • Menulis ke Tabel Eksternal menggunakan Autentikasi Azure AD atau Autentikasi Dasar

    Untuk mempelajari lebih lanjut tentang konektor di Python, baca Konektor Kumpulan SQL Khusus Azure Synapse untuk Apache Spark.

  • Kelola konfigurasi Azure Synapse Apache Spark - Manajemen konfigurasi Apache Spark selalu merupakan tugas yang menantang karena Spark memiliki ratusan properti. Ini juga menantang bagi Anda untuk mengetahui nilai optimal untuk konfigurasi Spark. Dengan fitur manajemen konfigurasi Spark baru, Anda dapat membuat artefak konfigurasi Spark mandiri dengan saran otomatis dan aturan validasi bawaan. Artefak konfigurasi Spark memungkinkan Anda berbagi konfigurasi Spark di dalam dan di seluruh ruang kerja Azure Synapse. Anda juga dapat dengan mudah mengaitkan konfigurasi Spark Anda dengan kumpulan Spark, Notebook, dan definisi kerja Spark untuk digunakan kembali dan meminimalkan kebutuhan untuk menyalin konfigurasi Spark di beberapa tempat. Untuk mempelajari selengkapnya tentang fitur manajemen konfigurasi Spark baru, baca Mengelola konfigurasi Apache Spark.

Synapse Data Explorer

  • Kueri langsung Synapse Data Explorer di Excel - Menggunakan pengalaman web Data Explorer baru Buka di fitur Excel, sekarang Anda bisa menyediakan akses ke hasil langsung kueri Anda dengan berbagi Buku Kerja Excel yang tersambung dengan kolega dan anggota tim.  Anda bisa membuka kueri langsung dalam buku kerja Excel dan me-refreshnya langsung dari Excel untuk mendapatkan hasil kueri terbaru. Untuk mempelajari selengkapnya tentang kueri langsung Excel, baca Membuka kueri langsung di Excel.

  • Gunakan Identitas Terkelola untuk Tabel SQL Server Eksternal - Salah satu manfaat utama Azure Synapse adalah kemampuan untuk menggabungkan integrasi data, pergudangan data perusahaan, dan analitik big data. Dengan dukungan Identitas Terkelola, definisi tabel Synapse Data Explorer sekarang lebih sederhana dan lebih aman. Anda sekarang dapat menggunakan identitas terkelola, alih-alih memasukkan info masuk Anda.

    Tabel SQL eksternal adalah entitas skema yang mereferensikan data yang disimpan di luar database Synapse Data Explorer. Menggunakan perintah Buat dan ubah tabel eksternal SQL Server, tabel SQL Eksternal dapat dengan mudah ditambahkan ke skema database Data Explorer Synapse.

    Untuk mempelajari selengkapnya tentang identitas terkelola, baca Gambaran umum Identitas terkelola.

    Untuk mempelajari selengkapnya tentang tabel eksternal, baca Membuat dan mengubah tabel eksternal SQL Server.

  • Modul KQL Learn baru (2 dari 3) ditayangkan! - Kekuatan Bahasa Kueri Kusto (KQL) adalah kesederhanaannya untuk mengkueri data terstruktur, semi terstruktur, dan tidak terstruktur bersama-sama. Untuk memudahkan Anda mempelajari KQL, kami merilis modul Learn. Sebelumnya, kami merilis Menulis kueri pertama Anda dengan Bahasa Kusto Query. Yang baru bulan ini adalah Dapatkan wawasan dari data Anda dengan menggunakan Bahasa Kueri Kusto.

    KQL adalah bahasa kueri yang digunakan untuk mengkueri big data Synapse Data Explorer. KQL memiliki komunitas pengguna yang berkembang pesat, dengan ratusan ribu pengembang, insinyur data, analis data, dan siswa.

    Lihat modul KQL Learn terbaru dan lihat sendiri betapa mudahnya menjadi master KQL.

    Untuk mempelajari selengkapnya tentang KQL, baca gambaran umum Bahasa Kueri Kusto (KQL).

  • konektor Azure Synapse Data Explorer untuk Microsoft Power Automate, Logic Apps, dan Power Apps [Tersedia Umum] - Konektor Azure Data Explorer untuk Power Automate memungkinkan Anda mengatur dan menjadwalkan alur, mengirim pemberitahuan, dan peringatan, sebagai bagian dari tugas terjadwal atau dipicu. Untuk mempelajari selengkapnya, baca Konektor Azure Data Explorer untuk Microsoft Power Automate dan Contoh penggunaan untuk konektor Azure Data Explorer ke Power Automate.

  • Perutean peristiwa dinamis dari hub peristiwa ke beberapa database - Merutekan peristiwa dari Event Hub/IOT Hub/Event Grid adalah aktivitas yang umum dilakukan oleh pengguna Azure Data Explorer (ADX). Sebelumnya, Anda hanya dapat merutekan peristiwa ke satu database per koneksi yang ditentukan. Jika Anda ingin merutekan peristiwa ke beberapa database, Anda perlu membuat beberapa koneksi kluster ADX.

    Untuk menyederhanakan pengalaman, kami sekarang mendukung perutean data peristiwa ke beberapa database yang dihosting dalam satu kluster ADX. Untuk mempelajari selengkapnya tentang perutean dinamis, baca Menyerap dari hub peristiwa.

  • Konfigurasikan database menggunakan skrip sebaris KQL sebagai bagian dari template penyebaran JSON ARM - Sebelumnya, Azure Data Explorer mendukung eksekusi skrip Bahasa Kueri Kusto (KQL) untuk mengonfigurasi database Anda selama penyebaran template Azure Resource Manager (ARM). Sekarang, ini dapat dilakukan menggunakan skrip sebaris yang disediakan sebaris sebagai parameter ke templat JSON ARM. Untuk mempelajari selengkapnya tentang menggunakan skrip sebaris KQL, baca Mengonfigurasi database menggunakan skrip Bahasa Kueri Kusto.

Integrasi Data

  • Pemantauan alur ekspor sebagai CSV - Kemampuan untuk mengekspor pemantauan alur ke CSV telah ditambahkan setelah menerima banyak permintaan komunitas untuk fitur tersebut. Cukup filter layar Eksekusi alur ke data yang Anda inginkan dan klik Ekspor ke CSV*. Untuk mempelajari selengkapnya tentang mengekspor pemantauan alur dan peningkatan pemantauan lainnya, baca peningkatan pemantauan Azure Data Factory.

  • Pemuatan data bertahap memudahkan Synapse dan Azure Database for PostgreSQL dan MySQL - Dalam solusi integrasi data, memuat data secara bertahap setelah beban data lengkap awal adalah skenario yang banyak digunakan. Pemuatan data sumber bertahap otomatis sekarang tersedia secara asli untuk Synapse SQL dan Azure Database for PostgreSQL dan MySQL. Pengguna dapat "mengaktifkan ekstrak bertahap" dan hanya baris yang disisipkan atau diperbarui yang akan dibaca oleh alur. Untuk mempelajari selengkapnya tentang pemuatan data bertahap, baca Menyalin data secara bertahap dari penyimpanan data sumber ke penyimpanan data tujuan.

  • Fungsi yang Ditentukan Pengguna untuk Pemetaan Aliran Data [Pratinjau Umum] - Kami mendengar Anda bahwa Anda dapat menemukan diri Anda melakukan manipulasi string, perhitungan matematika, atau logika kompleks yang sama beberapa kali. Sekarang, dengan fitur fungsi baru yang ditentukan pengguna, Anda dapat membuat ekspresi yang disesuaikan yang dapat digunakan kembali di beberapa aliran data pemetaan. Fungsi yang ditentukan pengguna akan dikelompokkan dalam pustaka untuk membantu pengembang mengelompokkan serangkaian fungsi umum. Setelah membuat pustaka aliran data, Anda dapat menambahkan fungsi yang ditentukan pengguna. Anda bahkan dapat menambahkan beberapa argumen untuk membuat fungsi Anda lebih dapat digunakan kembali. Untuk mempelajari selengkapnya tentang fungsi yang ditentukan pengguna, baca Fungsi yang ditentukan pengguna dalam memetakan aliran data.

  • Menegaskan Penanganan Kesalahan - Penanganan kesalahan sekarang telah ditambahkan ke sink setelah transformasi pernyataan. Transformasi pernyataan memungkinkan Anda membangun aturan kustom untuk kualitas data dan validasi data. Anda sekarang dapat memilih apakah akan menghasilkan baris yang gagal ke sink yang dipilih atau ke file terpisah. Untuk mempelajari selengkapnya tentang penanganan kesalahan, baca Menegaskan transformasi data dalam pemetaan aliran data.

  • Pemetaan pengeditan proyeksi aliran data - Pembaruan antarmuka pengguna baru telah dibuat untuk pengeditan proyeksi sumber dalam pemetaan aliran data. Sekarang Anda dapat memperbarui jenis kolom dan nama kolom proyeksi sumber. Untuk mempelajari selengkapnya tentang pengeditan proyeksi sumber, baca Transformasi sumber dalam pemetaan aliran data.

Azure Synapse Link untuk SQL Server - Di Microsoft Build 2022, kami mengumumkan ketersediaan Pratinjau Publik Azure Synapse Link untuk SQL, untuk SQL Server 2022 dan Azure SQL Database. Berbasis data, wawasan berkualitas sangat penting bagi perusahaan untuk tetap kompetitif. Kecepatan untuk mencapai wawasan tersebut dapat membuat semua perbedaan. Sifat yang mahal dan memakan waktu dari alur ETL dan ELT tradisional tidak lagi cukup. Dengan rilis ini, Anda sekarang dapat memanfaatkan replikasi data yang rendah dan tanpa kode, mendekati real-time dari penyimpanan operasional berbasis SQL Anda ke Azure Synapse Analytics. Ini memudahkan untuk menjalankan pelaporan BI pada data operasional mendekati real-time, dengan dampak minimal pada penyimpanan operasional Anda. Untuk mempelajari lebih lanjut, baca Mengumumkan Pratinjau Umum Azure Synapse Link untuk SQL dan tonton video YouTube kami.

Pembaruan Apr 2022

Pembaruan berikut baru untuk Azure Synapse Analytics bulan ini.

SQL

  • Pemulihan lintas langganan untuk Azure Synapse SQL sekarang tersedia secara umum. Sebelumnya, dibutuhkan banyak langkah yang tidak terdokumentasi untuk memulihkan kumpulan SQL khusus ke langganan lain. Sekarang, dengan pembaruan 3.8 modul PowerShell Az.Sql, cmdlet Restore-AzSqlDatabase dapat digunakan untuk pemulihan lintas langganan. Untuk mempelajari selengkapnya, lihat Memulihkan kumpulan SQL khusus (sebelumnya SQL DW) ke langganan lain.

  • Sekarang dimungkinkan untuk memulihkan kumpulan SQL dari server atau ruang kerja yang dijatuhkan. Dengan cmdlet Pemulihan PowerShell di modul Az.Sql dan Az.Synapse, Anda sekarang dapat memulihkan dari server atau ruang kerja yang dihapus tanpa mengajukan tiket dukungan. Untuk informasi selengkapnya, baca kumpulan SQL ruang kerja Synapse atau kumpulan SQL mandiri (sebelumnya SQL DW), tergantung pada skenario Anda.

Templat database Synapse dan perancang database

  • Berdasarkan umpan balik pelanggan yang populer, kami telah melakukan peningkatan signifikan pada pengalaman eksplorasi kami saat membuat database lake menggunakan templat industri. Untuk mempelajari selengkapnya: baca Mulai Cepat: Buat database Lake baru yang memanfaatkan templat database.

  • Kami telah menambahkan opsi untuk mengkloning database lake. Ini membuka peluang tambahan untuk mengelola versi baru database atau skema dukungan yang berkembang dalam langkah-langkah diskrit. Anda dapat dengan cepat mengkloning database menggunakan menu tindakan yang tersedia di database lake. Untuk mempelajari lebih lanjut, baca Cara: Mengkloning database lake.

  • Sekarang Anda dapat menggunakan kartubebas untuk menentukan hierarki folder kustom. Database lake berada di atas data yang ada di lake dan data ini dapat berada di folder berlapis yang tidak cocok dengan pola partisi bersih. Sebelumnya, mengkueri database lake mengharuskan data Anda ada dalam struktur direktori sederhana yang dapat Anda telusuri menggunakan ikon folder tanpa kemampuan untuk menentukan struktur direktori secara manual atau menggunakan karakter kartubebas. Untuk mempelajari lebih lanjut, baca Cara: Memodifikasi datalake.

Apache Spark untuk Synapse

  • Kami sangat senang mengumumkan ketersediaan pratinjau Apache Spark™ 3.2 di Synapse Analytics. Versi baru ini menggabungkan peningkatan yang diminta pengguna dan menyelesaikan 1.700+ tiket Jira. Harap tinjau catatan rilis resmi untuk daftar lengkap perbaikan dan fitur serta tinjau panduan migrasi antara Spark 3.1 dan 3.2 untuk menilai potensi perubahan pada aplikasi Anda. Untuk detail selengkapnya, baca dukungan versi Apache Spark dan Azure Synapse Runtime untuk Apache Spark 3.2.

  • Menetapkan parameter secara dinamis berdasarkan variabel, metadata, atau menentukan Parameter spesifik alur telah menjadi salah satu permintaan fitur teratas Anda. Sekarang, dengan rilis parameterisasi untuk aktivitas definisi kerja Spark, Anda dapat melakukan hal itu. Untuk detail selengkapnya, baca Mengubah data menggunakan definisi kerja Apache Spark.

  • Kami sering menerima permintaan pelanggan untuk mengakses snapshot Notebook ketika ada kegagalan eksekusi Pipeline Notebook atau ada pekerjaan Notebook yang berjalan lama. Dengan rilis fitur snapshot Synapse Notebook, Anda sekarang dapat menampilkan snapshot aktivitas Notebook yang dijalankan dengan kode Notebook asli, output sel, dan parameter input. Anda juga dapat mengakses snapshot Notebook yang dirujuk dari output sel Notebook referensi jika Anda merujuk ke Notebook lain melalui Spark utils. Untuk mempelajari lebih lanjut, baca Mengubah data dengan menjalankan notebook Synapse dan Pengenalan utilitas Microsoft Spark.

Keamanan

  • Peran RBAC Operator Pemantauan Synapse sekarang tersedia secara umum. Sejak GA Synapse, pelanggan telah meminta peran RBAC (kontrol akses berbasis peran) terperinci yang memungkinkan persona pengguna untuk memantau eksekusi Synapse Pipelines dan aplikasi Spark tanpa memiliki kemampuan untuk menjalankan atau membatalkan eksekusi aplikasi ini. Sekarang, pelanggan dapat menetapkan peran Operator Pemantauan Synapse ke persona pemantauan tersebut. Ini memungkinkan organisasi untuk tetap patuh sambil memiliki fleksibilitas dalam delegasi tugas kepada individu atau tim. Pelajari lebih lanjut dengan membaca Peran RBAC Synapse.

Integrasi data

  • Microsoft telah menambahkan Dataverse sebagai konektor sumber dan sink ke Synapse Data Flows sehingga Anda sekarang dapat membangun pekerjaan ETL transformasi data kode rendah di Synapse dan secara langsung mengakses lingkungan Dataverse Anda. Untuk detail selengkapnya tentang cara menggunakan konektor baru ini, baca Properti aliran data pemetaan.

  • Kami mendengar dari Anda bahwa batas waktu 1 menit untuk aktivitas Web tidak cukup lama, terutama dalam kasus API sinkron. Sekarang, dengan properti batas waktu respons 'httpRequestTimeout', Anda dapat menentukan batas waktu untuk permintaan HTTP hingga 10 menit. Pelajari lebih lanjut dengan membaca peningkatan batas waktu respons aktivitas Web.

Pengalaman pengembang

  • Sebelumnya, jika Anda ingin mereferensikan buku catatan di buku catatan lain, Anda hanya bisa mereferensikan konten yang diterbitkan atau diterapkan. Sekarang, saat menggunakan %jalankan buku catatan, Anda dapat mengaktifkan 'referensi buku catatan yang tidak diterbitkan' yang akan memungkinkan Anda mereferensikan buku catatan yang tidak diterbitkan. Saat diaktifkan, eksekusi buku catatan akan mengambil konten saat ini di cache web buku catatan, yang berarti perubahan di editor buku catatan Anda dapat segera direferensikan oleh buku catatan lain tanpa harus diterbitkan (mode Langsung) atau diterapkan (mode Git). Untuk mempelajari selengkapnya, baca Referensi buku catatan yang tidak diterbitkan.

Pembaruan Mar 2022

Pembaruan berikut baru untuk Azure Synapse Analytics bulan ini.

Pengalaman Pengembang

  • Sel kode di notebook Synapse yang menghasilkan pengecualian sekarang akan menampilkan output standar bersama dengan pesan pengecualian. Fitur ini didukung untuk bahasa Python dan Scala. Untuk mempelajari lebih lanjut, lihat contoh output saat pernyataan kode gagal.

  • Notebook Synapse sekarang mendukung output parsial saat menjalankan sel kode. Untuk mempelajari lebih lanjut, lihat contoh di posting blog ini

  • Sekarang Anda dapat mengontrol konfigurasi sesi Spark secara dinamis untuk aktivitas notebook dengan parameter alur. Untuk mempelajari lebih lanjut, lihat fitur penjelajah variabel notebook Synapse.

  • Sekarang Anda dapat menggunakan kembali dan mengelola sesi notebook tanpa harus memulai sesi baru. Anda bisa dengan mudah menyambungkan notebook yang dipilih ke sesi aktif dalam daftar yang dimulai dari notebook yang lain. Anda dapat melepaskan sesi dari notebook, menghentikan sesi, dan memantaunya. Untuk mempelajari lebih lanjut, lihat cara mengelola sesi notebook aktif Anda.

  • Notebook Synapse sekarang mengambil apa pun yang ditulis melalui modul pengelogan Python, selain log driver. Untuk mempelajari lebih lanjut, lihat dukungan untuk pengelogan Python.

SQL

  • Enkripsi Tingkat Kolom untuk kumpulan SQL khusus Azure Synapse sekarang Tersedia Secara Umum. Dengan enkripsi tingkat kolom, Anda dapat menggunakan kunci perlindungan yang berbeda untuk setiap kolom dengan setiap kunci memiliki izin aksesnya sendiri. Data dalam kolom yang diberlakukan CLE dienkripsi pada disk dan tetap dienkripsi dalam memori sampai fungsi DECRYPTBYKEY digunakan untuk mendekripsikannya. Untuk mempelajari lebih lanjut, lihat cara mengenkripsi kolom data.

  • Kumpulan SQL tanpa server sekarang mendukung performa yang lebih baik untuk CETAS (Buat Tabel Eksternal sebagai Pilih) dan kueri SELECT berikutnya. Peningkatan performa meliputi, rencana eksekusi paralel yang menghasilkan eksekusi CETAS yang lebih cepat dan menghasilkan beberapa file. Untuk mempelajari lebih lanjut, lihat artikel CETAS dengan Synapse SQL dan posting blog

Apache Spark untuk Synapse

  • Konektor Common Data Model (CDM) Spark Synapse sekarang Tersedia Secara Umum. Pembaca/penulis format CDM memungkinkan program Spark untuk membaca dan menulis entitas CDM dalam folder CDM melalui dataframes Spark. Untuk mempelajari lebih lanjut, lihat bagaimana konektor CDM mendukung membaca, menulis data, contoh, & masalah yang diketahui.

  • Konektor Kumpulan SQL Khusus (DW) Spark Synapse sekarang mendukung performa yang ditingkatkan. Arsitektur baru menghilangkan pergerakan data yang berlebihan dan menggunakan COPY-INTO alih-alih PolyBase. Anda dapat mengautentikasi melalui autentikasi dasar SQL atau memilih metode autentikasi berbasis Azure Active Directory/Microsoft Azure AD. Sekarang memiliki peningkatan ~5x di atas versi sebelumnya. Untuk mempelajari lebih lanjut, lihat Konektor Kumpulan SQL Khusus Azure Synapse untuk Apache Spark

  • Konektor Kumpulan SQL Khusus (DW) Spark Synapse sekarang mendukung semua pilihan SaveMode Dataframe Spark. Ia mendukung mode Tambahkan, Timpa, ErrorIfExists, dan Abaikan. Penambahan dan Penimpaan sangat penting untuk mengelola penyerapan data dalam skala besar. Untuk mempelajari lebih lanjut, lihat Dukungan SaveMode tulis DataFrame

  • Mempercepat kecepatan eksekusi Spark menggunakan fitur Cache Cerdas baru. Fitur ini masih dalam pratinjau umum. Cache Cerdas secara otomatis menyimpan setiap bacaan dalam ruang penyimpanan cache yang dialokasikan, mendeteksi perubahan file yang mendasar dan me-refresh file untuk menyediakan data terbaru. Untuk mempelajari lebih lanjut, lihat cara Mengaktifkan/Menonaktifkan cache untuk kumpulan Spark Apache Anda atau lihat posting blog

Keamanan

Integrasi Data

Pembaruan Feb 2022

Pembaruan berikut baru untuk Azure Synapse Analytics bulan ini.

SQL

Integrasi data

Pembaruan Januari 2022

Pembaruan berikut baru untuk Azure Synapse Analytics bulan ini.

Apache Spark untuk Synapse

Anda sekarang dapat menggunakan empat templat database baru di Azure Synapse. Pelajari selengkapnya tentang templat Otomotif, Genomics, Manufaktur, dan Farmasi dari posting blog atau artikel templat database. Templat ini saat ini sedang dalam pratinjau publik dan tersedia di galeri Synapse Studio.

Machine Learning

Perbaikan pustaka Synapse Machine Learning v0.9.5 (sebelumnya disebut MMLSpark). Rilis ini menyederhanakan pembuatan alur pembelajaran mesin yang dapat diskalakan secara besar-besaran dengan Apache Spark. Untuk mempelajari selengkapnya, baca posting blog tentang kemampuan baru dalam rilis ini atau lihat catatan rilis lengkap

Keamanan

  • Ringkasan keamanan Azure Synapse Analytics - Dokumen resmi yang mencakup lima lapisan keamanan. Lapisan keamanan termasuk autentikasi, kontrol akses, perlindungan data, keamanan jaringan, dan perlindungan ancaman. Pahami setiap fitur keamanan secara terperinci untuk menerapkan garis besar keamanan standar industri dan lindungi data Anda di cloud.

  • TLS 1.2 sekarang diperlukan untuk Ruang Kerja Synapse yang baru dibuat. Untuk mempelajari lebih lanjut, lihat bagaimana TLS 1.2 memberikan keamanan yang ditingkatkan menggunakan artikel ini atau posting blog. Upaya masuk ke ruang kerja Synapse yang baru dibuat dari koneksi yang menggunakan versi TLS yang lebih rendah dari 1.2 akan gagal.

Integrasi Data

Synapse SQL

Pembaruan Desember 2021

Pembaruan berikut baru untuk Azure Synapse Analytics bulan ini.

Apache Spark untuk Synapse

  • Artikelblog Mempercepat beban kerja Spark dengan akselerasi GPU NVIDIA
  • Artikelblog Pasang penyimpanan jarak jauh ke kumpulan Synapse Spark
  • Membaca & menulis data secara asli di ADLS dengan artikel blogPandas
  • Artikelblog Alokasi dinamis eksekutor untuk Spark

Machine Learning

Keamanan

  • Artikelblog Identitas terkelola yang Ditetapkan Pengguna kini didukung di Synapse Pipelines dalam pratinjau
  • Artikelblog Menelusuri folder ADLS Gen2 di ruang kerja Azure Synapse Analytics dalam pratinjau

Integrasi Data

  • Artikelblog Aktivitas Alur Gagal
  • Artikelblog Aliran Data Pemetaan mendapatkan konektor asli baru
  • Format ekspor notebook lainnya: blog HTML, Python, dan LaTeX
  • Blog Tiga jenis bagan baru dalam tampilan notebook: plot kotak, histogram, dan tabel pivot
  • Blog Menyambungkan kembali ke sesi notebook yang hilang

Mengintegrasikan

  • Artikelblog Link Azure Synapse untuk Dataverse
  • Artikelblog Partisi kustom untuk Link Azure Synapse untuk Azure Cosmos DB dalam pratinjau
  • Artikelblog Alat data peta (Pratinjau Publik), pengalaman ETL tanpa kode yang dipandu
  • Artikelblog Penggunaan kembali cepat kluster spark
  • Artikelblog Transformasi Panggilan Eksternal
  • Artikelblog Flowlets (Pratinjau Publik)

Pembaruan November 2021

Pembaruan berikut baru untuk Azure Synapse Analytics bulan ini.

Synapse Data Explorer

  • Artikelblog Synapse Data Explorer sekarang tersedia dalam pratinjau

Bekerja dengan Database dan Data Lake

  • Artikelblog Memperkenalkan database Lake (sebelumnya dikenal sebagai database Spark)
  • Artikelblog Perancang database Lake sekarang tersedia dalam pratinjau
  • Blogblog Templat Database dan Perancang Database

SQL

  • Artikelblog Dukungan Delta Lake untuk SQL tanpa server umumnya tersedia
  • Artikelblog Mengkueri beberapa jalur file menggunakan OPENROWSET di SQL tanpa server
  • Artikelblog Kueri SQL tanpa server kini dapat mengembalikan hingga 200 GB hasil
  • Artikelblog Menangani baris yang tidak valid dengan OPENROWSET di SQL tanpa server

Apache Spark untuk Synapse

  • Artikelblog Mempercepat beban kerja Spark dengan akselerasi GPU NVIDIA
  • Artikelblog Pasang penyimpanan jarak jauh ke kumpulan Synapse Spark
  • Membaca & menulis data secara asli di ADLS dengan artikel blogPandas
  • Artikelblog Alokasi dinamis eksekutor untuk Spark

Machine Learning

Keamanan

  • Artikelblog Identitas terkelola yang Ditetapkan Pengguna kini didukung di Synapse Pipelines dalam pratinjau
  • Artikelblog Menelusuri folder ADLS Gen2 di ruang kerja Azure Synapse Analytics dalam pratinjau

Integrasi Data

  • Artikelblog Link Azure Synapse untuk Dataverse
  • Artikelblog Partisi kustom untuk Link Azure Synapse untuk Azure Cosmos DB dalam pratinjau

Pembaruan Oktober 2021

Pembaruan berikut baru untuk Azure Synapse Analytics bulan ini.

Umum

  • Artikelblog Mengelola biaya Anda dengan paket pra-pembelian Azure Synapse
  • Artikelblog Memindahkan ruang kerja Azure Synapse Anda di seluruh wilayah Azure

Apache Spark untuk Synapse

  • Pengoptimalan performa Spark blog

Keamanan

  • Artikelblog Semua peran Synapse RBAC sekarang tersedia secara umum untuk digunakan dalam produksi
  • Artikelblog Menerapkan Identitas Terkelola yang Ditetapkan Pengguna untuk Enkripsi Ganda
  • Artikelblog Administrator Synapse sekarang memiliki akses tinggi ke kumpulan SQL khusus

Pemerintahan

  • Artikelblog Ruang kerja Synapse kini dapat secara otomatis mendorong data silsilah ke Microsoft Purview

Mengintegrasikan

  • Artikelblog Menggunakan Stringify dalam aliran data untuk dengan mudah mengubah jenis data kompleks menjadi string
  • Artikelblog Mengontrol waktu untuk aktif (TTL) sesi Spark dalam aliran data

CI/CD & Git

  • Artikelblog Menyebarkan ruang kerja Synapse menggunakan Tindakan GitHub
  • Artikelblog Mengontrol lebih besar dalam membuat cabang Git di Synapse Studio

Pengalaman Pengembang

  • Artikelblog Pengeditan Markdown yang ditingkatkan di pratinjau notebook Synapse
  • Artikelblog Kerangka data Pandas secara otomatis dirender sebagai tabel HTML yang diformat dengan baik
  • Artikelblog Menggunakan widget IPython di Notebook Synapse
  • Artikelblog Konteks runtime Mssparkutils sekarang tersedia untuk Python dan Scala

Langkah berikutnya

Memulai menggunakan Azure Synapse Analytics