Serap data ke Azure Data Lake Storage Gen2

  • Artikel

Dalam artikel ini, Anda akan mempelajari cara menyerap data dari satu lokasi ke lokasi lainnya di akun penyimpanan Azure Data Lake Gen 2 (Azure Data Lake Gen 2) menggunakan Azure Synapse Analytics.

Prasyarat

  • Langganan Azure: Jika Anda belum memiliki langganan Azure, buat akun Azure gratis sebelum memulai.
  • Akun Azure Storage: Anda menggunakan Azure Data Lake Gen 2 sebagai penyimpanan data sumber. Jika Anda belum memiliki akun penyimpanan, lihat Buat akun Azure Storage untuk mengetahui langkah-langkah pembuatannya.

Buat layanan tertaut

Di Azure Synapse Analytics, layanan tertaut adalah tempat Anda menentukan informasi koneksi ke layanan lain. Di bagian ini, Anda akan menambahkan Azure Synapse Analytics dan Azure Data Lake Gen 2 sebagai layanan tertaut.

  1. Buka Azure Synapse Analytics UX dan buka tab Kelola.
  2. Di bagian Koneksi eksternal, pilih Layanan tertaut.
  3. Untuk menambahkan layanan tertaut, pilih Baru.
  4. Pilih petak peta Azure Data Lake Storage Gen2 dari daftar dan pilih Lanjutkan.
  5. Masukkan info masuk autentikasi Anda. Kunci akun, perwakilan layanan, dan identitas terkelola saat ini adalah jenis autentikasi yang didukung. Pilih uji koneksi untuk memverifikasi info masuk Anda sudah benar.
  6. Pilih Buat saat selesai.

Buat alur

Alur berisi alur logika untuk proses eksekusi serangkaian aktivitas. Di bagian ini, Anda akan membuat alur yang berisi aktivitas salinan yang menyerap data dari Azure Data Lake Gen 2 ke dalam kumpulan SQL khusus.

  1. Masuk ke tab Integrasikan. Pilih ikon plus di samping alur header dan pilih Alur.
  2. Di bawah panel aktivitas Pindahkan dan Transformasi, seret Salin data ke kanvas alur.
  3. Pilih aktivitas salin dan masuk ke tab Sumber. Pilih Baru untuk membuat kumpulan data sumber baru.
  4. Pilih Azure Data Lake Storage Gen2 sebagai penyimpanan data Anda dan pilih lanjutkan.
  5. Pilih DelimitedText sebagai format Anda dan pilih lanjutkan.
  6. Di panel properti yang ditetapkan, pilih layanan tertaut ADLS yang Anda buat. Tentukan jalur file dari data sumber Anda dan tentukan apakah baris pertama memiliki header. Anda dapat mengimpor skema dari penyimpanan file atau file sampel. Pilih OK setelah selesai.
  7. Buka tab Sink, pilih Baru untuk membuat himpunan data sink baru.
  8. Pilih Azure Data Lake Storage Gen2 sebagai penyimpanan data Anda dan pilih lanjutkan.
  9. Pilih DelimitedText sebagai format Anda dan pilih lanjutkan.
  10. Di panel properti yang ditetapkan, pilih layanan tertaut ADLS yang Anda buat. Tentukan jalur folder tempat Anda ingin menulis data. Pilih OK setelah selesai.

Men-debug dan menerbitkan alur

Setelah selesai mengonfigurasi alur, Anda dapat menjalankan proses debug sebelum menerbitkan artefak untuk memverifikasi bahwa semuanya sudah benar.

  1. Untuk men-debug alur, pilih Debug pada toolbar. Anda akan melihat status eksekusi alur di tab Output di bagian bawah jendela.
  2. Setelah alur berhasil dijalankan, di toolbar bagian atas, pilih Terbitkan semua. Tindakan ini menerbitkan entitas (himpunan data, dan alur) yang Anda buat ke layanan Synapse Analytics.
  3. Tunggu hingga Anda melihat pesan Berhasil diterbitkan. Untuk melihat pesan pemberitahuan, pilih tombol bel di kanan atas.

Pemicu dan pantau alur

Dalam langkah ini, Anda secara manual memicu alur yang Anda terbitkan di langkah sebelumnya.

  1. Pilih Tambahkan Pemicu pada toolbar, lalu pilih Picu Sekarang. Pada halaman Eksekusi Alur, pilih Selesai.
  2. Buka tab Monitor yang terletak di bar samping kiri. Anda akan melihat eksekusi alur yang dipicu oleh pemicu manual. Anda bisa menggunakan tautan di kolom Tindakan untuk menampilkan detail aktivitas dan untuk mengeksekusi ulang alur.
  3. Untuk melihat eksekusi aktivitas yang terkait dengan eksekusi alur, pilih tautan Tampilkan Aktivitas Berjalan di kolom Tindakan. Dalam contoh ini, hanya ada satu aktivitas, sehingga Anda hanya melihat satu entri dalam daftar. Untuk detail tentang operasi salin, pilih tautan Detail (ikon kacamata) di kolom Tindakan. Pilih Eksekusi Alur di bagian atas untuk kembali ke tampilan Eksekusi Alur. Untuk me-refresh tampilan, pilih Refresh.
  4. Pastikan data Anda ditulis dengan benar di kumpulan SQL khusus.

Langkah berikutnya

Untuk informasi selengkapnya tentang integrasi data untuk Azure Synapse Analytics, lihat Menyerap data ke dalam kumpulan SQL khusus.