Artikel ini menyediakan jawaban atas tanya jawab umum tentang Data Factory di Microsoft Fabric.
Apa masa depan Azure Data Factory (ADF) dan Alur Synapse?
Alur Azure Data Factory (ADF) dan Azure Synapse mempertahankan peta jalan Platform as a Service (PaaS) terpisah. Kedua solusi ini terus hidup berdampingan bersama Fabric Data Factory, yang berfungsi sebagai penawaran Software as a Service (SaaS). Alur ADF dan Synapse tetap didukung penuh, dan tidak ada rencana untuk depresiasi. Penting untuk disorot bahwa, untuk proyek mendatang, saran kami adalah memulainya menggunakan Fabric Data Factory. Selain itu, kami memiliki strategi untuk memfasilitasi transisi alur ADF dan Synapse ke Fabric Data Factory, memungkinkan mereka untuk memanfaatkan fungsionalitas Fabric baru.
Mengingat kesenjangan fungsionalitas di Data Factory untuk Fabric, apa alasan untuk memilihnya daripada alur ADF / Synapse?
Saat kami berusaha untuk menjembatani kesenjangan fungsionalitas dan menggabungkan orkestrasi alur data dan kemampuan alur kerja yang kuat yang ditemukan dalam alur ADF / Azure Synapse ke dalam Fabric Data Factory, kami mengakui bahwa fitur tertentu yang ada dalam alur ADF / Synapse mungkin penting untuk kebutuhan Anda. Meskipun Anda dianjurkan untuk terus menggunakan alur ADF / Synapse jika fitur-fitur ini diperlukan, kami mendorong Anda untuk terlebih dahulu menjelajahi kemungkinan integrasi data baru Anda di Fabric. Umpan balik Anda tentang fitur mana yang sangat penting untuk kesuksesan Anda sangat berharga. Untuk memfasilitasi hal ini, kami secara aktif berupaya memperkenalkan kemampuan baru, memungkinkan migrasi pabrik data Anda yang ada dari Azure ke ruang kerja Fabric juga.
Apakah fitur baru di Fabric Data Factory juga tersedia di ADF/Synapse?
Kami tidak mem-backport fitur baru dari alur Fabric ke alur ADF / Synapse. Kami mempertahankan dua peta strategi terpisah untuk Fabric Data Factory dan ADF/ Synapse. Kami mengevaluasi permintaan backport sebagai respons terhadap umpan balik masuk.
Apakah Fabric Pipeline sama dengan Azure Synapse Pipeline?
Fungsi utama alur Fabric mirip dengan alur Azure Synapse, tetapi dengan menggunakan alur Fabric, pengguna dapat menerapkan semua kemampuan analitik data di platform Fabric. Perbedaan penting dan pemetaan fitur antara alur Fabric dan alur Azure Synapse dapat ditemukan di sini: Perbedaan antara Data Factory di Fabric dan Azure.
Apa perbedaan antara pabrik data dan tab rekayasa data di Fabric?
Data Factory membantu Anda memecahkan integrasi data yang kompleks dan skenario ETL dengan pergerakan data skala cloud dan layanan transformasi data sementara rekayasa data membantu Anda membuat rumah lake, menggunakan Apache Spark untuk mengubah dan menyiapkan data Anda. Perbedaan antara setiap terminologi/pengalaman Fabric tersedia di bawah terminologi Microsoft Fabric.
Di mana saya dapat menemukan pembaruan bulanan yang tersedia di Fabric?
Pembaruan bulanan Fabric tersedia di Blog Microsoft Fabric.
Bagaimana cara memigrasikan alur yang ada dari ruang kerja Azure Data Factory (atau) Azure Synapse ke Fabric Data Factory?
Saat ini, satu-satunya metode yang tersedia adalah membuat ulang alur di Fabric Data Factory. Kami dengan rajin mengembangkan fitur baru yang memberdayakan pengguna untuk secara efektif mengawasi dan mengelola alur Fabric dan ADF dalam platform Fabric. Kemampuan baru yang inovatif ini tidak hanya menjamin pelestarian kelangsungan produk yang mulus tetapi juga memberi pengguna kesempatan untuk membenamkan diri dalam fungsionalitas yang ditingkatkan yang ditawarkan oleh kemampuan integrasi data Fabric.
Bagaimana cara melacak dan memantau kapasitas Fabric yang digunakan dengan alur?
Admin kapasitas Microsoft Fabric dapat menggunakan aplikasi Metrik Kapasitas Microsoft Fabric, juga dikenal sebagai aplikasi metrik, untuk mendapatkan visibilitas ke sumber daya kapasitas. Aplikasi ini memungkinkan admin untuk melihat berapa banyak pemanfaatan CPU, waktu pemrosesan, dan memori yang digunakan oleh alur data, aliran data, dan item lain di ruang kerja yang mendukung kapasitas Fabric mereka. Dapatkan visibilitas ke dalam penyebab kelebihan beban, waktu permintaan puncak, konsumsi sumber daya, dan banyak lagi dan dengan mudah mengidentifikasi item yang paling menuntut atau paling populer.
Apakah Fabric Dataflow Gen2 mirip dengan Power Query yang disematkan di Azure Data Factory?
Aktivitas Power Query dalam ADF berbagi kesamaan dengan Dataflow Gen2, tetapi memiliki fitur tambahan yang memungkinkan tindakan seperti menulis ke tujuan data tertentu, dll. Perbandingan ini lebih selaras dengan Aliran Data Gen1 (aliran data Power BI atau aliran data Power Apps). Lihat di sini untuk detail selengkapnya: Perbedaan antara Dataflow Gen1 dan Dataflow Gen2.
Bagaimana cara menyambungkan ke sumber data lokal di Fabric Data Factory?
Fokus kami saat ini melibatkan pengembangan aktif dukungan alur Fabric dalam gateway data lokal. Kemampuan yang akan datang ini memberdayakan Anda untuk memanfaatkan alur Fabric dengan mulus untuk akses data lokal langsung. Hingga fitur ini tersedia, solusi yang layak dimungkinkan: Anda dapat menggunakan aliran data Fabric untuk mentransfer data ke penyimpanan cloud dan kemudian menggunakan alur Fabric untuk memfasilitasi pergerakan data ke tujuan yang Anda inginkan. Ini memastikan transisi yang lancar hingga integrasi gateway data lokal tersedia.
Apakah mungkin untuk terhubung ke sumber daya yang diaktifkan Titik Akhir Privat (PE) yang ada di Fabric Data Factory?
Saat ini, gateway VNet menawarkan metode injeksi untuk berintegrasi dengan mulus ke jaringan virtual Anda, menyediakan jalan yang kuat untuk menggunakan titik akhir privat untuk membuat koneksi aman ke penyimpanan data Anda. Penting untuk dicatat bahwa gateway VNet hanya mengakomodasi aliran data Fabric saat ini. Namun, inisiatif kami yang akan datang mencakup perluasan kemampuannya untuk mencakup alur Fabric.
Seberapa cepat saya dapat menyerap data di Fabric Data Pipelines?
Fabric Data Factory memungkinkan Anda mengembangkan alur yang memaksimalkan throughput pergerakan data untuk lingkungan Anda. Alur ini sepenuhnya menggunakan sumber daya berikut:
- Bandwidth jaringan antara penyimpanan data sumber dan tujuan
- Operasi input/output penyimpanan data sumber atau tujuan per detik (IOPS) dan bandwidth Pemanfaatan penuh ini berarti Anda dapat memperkirakan throughput keseluruhan dengan mengukur throughput minimum yang tersedia dengan sumber daya berikut:
- Penyimpanan data sumber
- Penyimpanan data tujuan
- Bandwidth jaringan di antara penyimpanan data sumber dan tujuan Sementara itu, kami terus berupaya melakukan inovasi untuk meningkatkan throughput terbaik yang dapat Anda capai. Saat ini, layanan dapat memindahkan himpunan data TPC-DI 1 TB (file parket) ke tabel Fabric Lakehouse dan Gudang Data dalam waktu 5 menit - memindahkan baris 1B di bawah 1 menit; Harap dicatat bahwa performa ini hanyalah referensi dengan menjalankan himpunan data pengujian di atas. Throughput aktual masih tergantung pada faktor-faktor yang tercantum sebelumnya. Selain itu, Anda selalu dapat mengalikan throughput Anda dengan menjalankan beberapa aktivitas salin secara paralel. Misalnya, menggunakan perulangan ForEach.
Pendekatan apa yang direkomendasikan untuk menetapkan peran dalam Fabric Data Factory?
Anda dapat memisahkan berbagai beban kerja antara ruang kerja dan menggunakan peran seperti anggota dan penampil untuk memiliki ruang kerja untuk rekayasa data yang menyiapkan data untuk ruang kerja yang digunakan untuk laporan atau pelatihan AI. Dengan peran penampil, Anda kemudian dapat menggunakan data dari ruang kerja rekayasa data.