Apa itu pergudangan data di Microsoft Fabric?
Berlaku untuk:
Titik akhir analitik SQL dan Gudang di Microsoft Fabric
Microsoft Fabric memberi pelanggan produk terpadu yang membahas setiap aspek data estate mereka dengan menawarkan platform Data, Analitik, dan AI yang lengkap dan berpusat pada lake. Fondasi Microsoft Fabric memungkinkan pengguna pemula hingga profesional berpengalaman untuk memanfaatkan beban kerja Database, Analitik, Olahpesan, Integrasi Data, dan Kecerdasan Bisnis melalui pengalaman SaaS bersama yang kaya, mudah digunakan dengan Microsoft OneLake sebagai pusatnya.
Pengalaman SaaS yang berpusat pada danau yang dibangun untuk tingkat keterampilan apa pun
Microsoft Fabric memperkenalkan gudang data yang berfokus pada lake yang dibangun di atas mesin pemrosesan terdistribusi tingkat perusahaan yang memungkinkan performa industri terkemuka dalam skala besar sambil menghilangkan kebutuhan akan konfigurasi dan manajemen. Melalui pengalaman SaaS yang mudah digunakan yang terintegrasi erat dengan Power BI untuk analisis dan pelaporan yang mudah, Gudang di Microsoft Fabric menyatukan dunia data lake dan gudang dengan tujuan sangat menyederhanakan investasi organisasi dalam real estat analitik mereka. Beban kerja pergudangan data mendapat manfaat dari kemampuan mesin SQL yang kaya melalui format data terbuka, memungkinkan pelanggan untuk fokus pada persiapan data, analisis, dan pelaporan atas satu salinan data mereka yang disimpan di Microsoft OneLake mereka.
Gudang dibangun untuk tingkat keterampilan apa pun - dari pengembang warga hingga pengembang profesional, DBA, atau insinyur data. Serangkaian pengalaman yang kaya yang dibangun ke dalam ruang kerja Microsoft Fabric memungkinkan pelanggan untuk mengurangi waktu mereka ke wawasan dengan memiliki model semantik yang mudah dikonsumsi dan selalu terhubung yang terintegrasi dengan Power BI dalam mode DirectLake. Ini memungkinkan performa terdepan industri kedua ke tidak ada yang memastikan laporan pelanggan selalu memiliki data terbaru untuk analisis dan pelaporan. Kueri lintas database dapat dimanfaatkan untuk menggunakan beberapa sumber data dengan cepat dan lancar yang mencakup beberapa database untuk wawasan cepat dan duplikasi data nol.
Gudang virtual dengan kueri lintas database
Microsoft Fabric memberi pelanggan kemampuan untuk berdiri di gudang virtual yang berisi data dari hampir semua sumber dengan menggunakan pintasan. Pelanggan dapat membangun gudang virtual dengan membuat pintasan ke data mereka di mana pun ia berada. Gudang virtual dapat terdiri dari data dari OneLake, Azure Data Lake Storage, atau penyimpanan vendor cloud lainnya dalam satu batas dan tanpa duplikasi data.
Buka nilai dengan mulus dari berbagai sumber data melalui kekayaan kueri lintas database di Microsoft Fabric. Kueri lintas database memungkinkan pelanggan untuk menggunakan beberapa sumber data dengan cepat dan lancar untuk wawasan cepat dan tanpa duplikasi data. Data yang disimpan di berbagai sumber dapat dengan mudah digabungkan memungkinkan pelanggan untuk memberikan wawasan kaya yang sebelumnya memerlukan upaya signifikan dari tim integrasi dan teknik data.
Kueri lintas database dapat dibuat melalui editor Visual Query, yang menawarkan jalur tanpa kode ke wawasan atas beberapa tabel. Editor Kueri SQL, atau alat lain yang sudah dikenal seperti SQL Server Management Studio (SSMS), juga dapat digunakan untuk membuat kueri lintas database.
Manajemen beban kerja otonom
Gudang di Microsoft Fabric memanfaatkan mesin pemrosesan kueri terdistribusi terkemuka di industri, yang memberi pelanggan beban kerja yang memiliki batas isolasi alami. Tidak ada tombol untuk berubah dengan alokasi otonom dan melepaskan sumber daya untuk menawarkan yang terbaik dalam performa ras dengan skala otomatis dan konkurensi bawaan. Isolasi sejati dicapai dengan memisahkan beban kerja dengan karakteristik yang berbeda, memastikan bahwa pekerjaan ETL tidak pernah mengganggu analitik ad hoc dan melaporkan beban kerja mereka.
Format terbuka untuk interoperabilitas mesin yang mulus
Data di Gudang disimpan dalam format file parket dan diterbitkan sebagai Delta Lake Logs, memungkinkan transaksi ACID dan interoperabilitas lintas mesin yang dapat dimanfaatkan melalui beban kerja Microsoft Fabric lainnya seperti Spark, Pipelines, Power BI dan Azure Data Explorer. Pelanggan tidak perlu lagi membuat beberapa salinan data mereka untuk memungkinkan profesional data dengan set keterampilan yang berbeda. Teknisi data yang terbiasa bekerja di Python dapat dengan mudah menggunakan data yang sama yang dimodelkan dan dilayani oleh profesional gudang data yang terbiasa bekerja di SQL. Secara paralel, profesional BI dapat dengan cepat dan mudah menggunakan data yang sama untuk membuat serangkaian visualisasi yang kaya di Power BI dengan performa rekaman dan tidak ada duplikasi data.
Pemisahan penyimpanan dan komputasi
Komputasi dan penyimpanan dipisahkan di Gudang yang memungkinkan pelanggan untuk menskalakan hampir secara instan untuk memenuhi tuntutan bisnis mereka. Ini memungkinkan beberapa mesin komputasi untuk membaca dari sumber penyimpanan yang didukung dengan keamanan yang kuat dan jaminan transaksional ACID penuh.
Dengan mudah menyerap, memuat, dan mengubah dalam skala besar
Data dapat diserap ke dalam Gudang melalui Alur, Aliran Data, kueri lintas database, atau perintah COPY INTO. Setelah diserap, data dapat dianalisis oleh beberapa grup bisnis melalui fungsionalitas seperti berbagi dan kueri lintas database. Waktu untuk wawasan dipercepat melalui pengalaman BI yang sepenuhnya terintegrasi melalui pemodelan data grafis yang mudah digunakan pengalaman web untuk kueri dalam Editor Gudang.
Item pergudangan data di Microsoft Fabric
Ada dua item pergudangan data yang berbeda: titik akhir analitik SQL lakehouse dan Gudang.
Titik akhir analitik SQL dari Lakehouse
Titik akhir analitik SQL adalah gudang yang secara otomatis dihasilkan dari Lakehouse di Microsoft Fabric. Pelanggan dapat beralih dari tampilan "Lake" Lakehouse (yang mendukung rekayasa data dan Apache Spark) ke tampilan "SQL" dari Lakehouse yang sama. Titik akhir analitik SQL bersifat baca-saja, dan data hanya dapat dimodifikasi melalui tampilan "Lake" Lakehouse menggunakan Spark.
Melalui titik akhir analitik SQL Lakehouse, pengguna memiliki subset perintah SQL yang dapat menentukan dan mengkueri objek data tetapi tidak memanipulasi data. Anda dapat melakukan tindakan berikut di titik akhir analitik SQL:
- Kueri tabel yang mereferensikan data di folder Delta Lake Anda di lake.
- Buat tampilan, TVF sebaris, dan prosedur untuk merangkum semantik dan logika bisnis Anda di T-SQL.
- Mengelola izin pada objek.
Di ruang kerja Microsoft Fabric, titik akhir analitik SQL diberi label "titik akhir analitik SQL" di bawah kolom Jenis . Setiap Lakehouse memiliki titik akhir analitik SQL otomatis yang dapat dimanfaatkan melalui alat SQL yang sudah dikenal seperti SQL Server Management Studio, Azure Data Studio, Microsoft Fabric SQL Editor Kueri.
Untuk mulai menggunakan titik akhir analitik SQL, lihat Bersama-sama lebih baik: lakehouse dan gudang di Microsoft Fabric.
Gudang Data Synapse
Di ruang kerja Microsoft Fabric, Gudang Data Synapse atau Gudang diberi label sebagai 'Gudang' di bawah kolom Jenis . Gudang mendukung transaksi, DDL, dan kueri DML.
Tidak seperti titik akhir analitik SQL yang hanya mendukung kueri baca saja dan pembuatan tampilan dan TVF, Gudang memiliki dukungan DDL dan DML transaksi penuh dan dibuat oleh pelanggan. Gudang diisi oleh salah satu metode penyerapan data yang didukung seperti COPY INTO, Alur, Aliran Data, atau opsi penyerapan lintas database seperti CREATE TABLE AS SELECT (CTAS), INSERT.. SELECT, atau SELECT INTO.
Untuk mulai menggunakan Gudang, lihat Membuat gudang di Microsoft Fabric.
Bandingkan Gudang dan titik akhir analitik SQL lakehouse
Bagian ini menjelaskan perbedaan antara titik akhir analitik Gudang dan SQL di Microsoft Fabric.
Titik akhir analitik SQL adalah gudang baca-saja yang secara otomatis dihasilkan setelah dibuat dari Lakehouse di Microsoft Fabric. Tabel Delta yang dibuat melalui Spark di Lakehouse secara otomatis dapat ditemukan di titik akhir analitik SQL sebagai tabel. Titik akhir analitik SQL memungkinkan teknisi data untuk membangun lapisan relasional di atas data fisik di Lakehouse dan mengeksposnya ke alat analisis dan pelaporan menggunakan string koneksi SQL. Analis data kemudian dapat menggunakan T-SQL untuk mengakses data Lakehouse menggunakan Gudang Data Synapse. Gunakan titik akhir analitik SQL untuk merancang gudang Anda untuk kebutuhan BI dan melayani data.
Gudang Data atau Gudang Synapse adalah gudang data 'tradisional' dan mendukung kemampuan T-SQL transaksi penuh seperti gudang data perusahaan. Dibandingkan dengan titik akhir analitik SQL, di mana tabel dan data dibuat secara otomatis, Anda sepenuhnya mengontrol pembuatan tabel, memuat, mengubah, dan mengkueri data Anda di gudang data menggunakan portal Microsoft Fabric atau perintah T-SQL.
Untuk informasi selengkapnya tentang mengkueri data Anda di Microsoft Fabric, lihat Mengkueri titik akhir analitik SQL atau Gudang di Microsoft Fabric.
Membandingkan kemampuan pergudangan yang berbeda
Untuk melayani kasus penggunaan analitik Anda dengan terbaik, ada berbagai kemampuan yang tersedia untuk Anda. Umumnya, gudang dapat dianggap sebagai superset dari semua kemampuan lain, memberikan hubungan sinergis antara semua penawaran analitik lain yang menyediakan T-SQL.
Dalam fabric, ada pengguna yang mungkin perlu memutuskan antara Gudang, Lakehouse, dan bahkan datamart Power BI.
Penawaran Microsoft Fabric
Gudang
Titik akhir analitik SQL dari Lakehouse
Datamart Power BI
Pelisensian
Fabric atau Power BI Premium
Fabric atau Power BI Premium
Power BI Premium saja
Kemampuan utama
Acid sesuai, pergudangan data lengkap dengan dukungan transaksi di T-SQL.
Baca saja, sistem menghasilkan titik akhir analitik SQL untuk Lakehouse untuk kueri dan penyajian T-SQL. Mendukung analitik pada tabel Delta Lakehouse, dan folder Delta Lake yang dirujuk melalui pintasan.
Pergudangan data tanpa kode dan kueri T-SQL
Profil pengembang
Pengembang SQL atau pengembang warga
Teknisi Data atau Pengembang SQL
Hanya pengembang warga
Kasus penggunaan yang direkomendasikan
- Pergudangan Data untuk penggunaan perusahaan
- Pergudangan Data yang mendukung departemen, unit bisnis, atau penggunaan layanan mandiri
- Analisis data terstruktur dalam T-SQL dengan tabel, tampilan, prosedur, dan fungsi serta dukungan SQL Tingkat Lanjut untuk BI
- Menjelajahi dan mengkueri tabel delta dari lakehouse
- Data Penahapan dan Zona Arsip untuk analisis
- Arsitektur medallion lakehouse dengan zona untuk analisis perunggu, perak, dan emas
- Memasangkan dengan Warehouse untuk kasus penggunaan analitik perusahaan
- Kasus penggunaan pergudangan departemen kecil atau unit bisnis
- Kasus penggunaan pergudangan data layanan mandiri
- Zona pendaratan untuk aliran data Power BI dan dukungan SQL sederhana untuk BI
Pengalaman pengembangan
- Editor Gudang dengan dukungan penuh untuk penyerapan data T-SQL, pemodelan, pengembangan, dan kueri pengalaman UI untuk penyerapan, pemodelan, dan kueri data
- Dukungan Baca / Tulis untuk alat pihak ke-1 dan ke-3
- Titik akhir analitik Lakehouse SQL dengan dukungan T-SQL terbatas untuk tampilan, fungsi bernilai tabel, dan Kueri SQL
- Pengalaman UI untuk pemodelan dan kueri
- Dukungan T-SQL terbatas untuk alat pihak ke-1 dan ke-3
- Editor Datamart dengan pengalaman UI dan dukungan kueri
- Pengalaman UI untuk penyerapan, pemodelan, dan kueri data
- Dukungan baca-saja untuk alat pihak ke-1 dan ke-3
Kemampuan T-SQL
Dukungan DQL, DML, dan DDL T-SQL penuh, dukungan transaksi penuh
DQL Penuh, Tanpa DML, Dukungan T-SQL DDL terbatas seperti Tampilan SQL dan TVF
DQL penuh saja
Pemuatan Data
SQL, alur, aliran data
Spark, alur, aliran data, pintasan
Hanya aliran data
Dukungan tabel Delta
Membaca dan menulis tabel Delta
Membaca tabel delta
NA
Lapisan penyimpanan
Format Data Terbuka - Delta
Format Data Terbuka - Delta
NA
Skema yang dihasilkan secara otomatis di titik akhir analitik SQL Lakehouse
Titik akhir analitik SQL mengelola tabel yang dihasilkan secara otomatis sehingga pengguna ruang kerja tidak dapat memodifikasinya. Pengguna dapat memperkaya model database dengan menambahkan skema, tampilan, prosedur, dan objek database SQL mereka sendiri.
Untuk setiap tabel Delta di Lakehouse Anda, titik akhir analitik SQL secara otomatis menghasilkan satu tabel.
Tabel di titik akhir analitik SQL dibuat dengan penundaan. Setelah Anda membuat atau memperbarui folder/tabel Delta Lake di lake, tabel gudang yang mereferensikan data lake tidak akan segera dibuat/disegarkan. Perubahan akan diterapkan di gudang setelah 5-10 detik.
Untuk jenis data skema yang dibuat secara otomatis untuk titik akhir analitik SQL, lihat Jenis data di Microsoft Fabric.
Konten terkait
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk