Menyalin data dengan aman dari penyimpanan Azure Blob ke database SQL dengan menggunakan titik akhir privat

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup segala sesuatu mulai dari pergerakan data hingga ilmu data, analitik real-time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Dalam tutorial ini, Anda membuat pabrik data dengan menggunakan antarmuka pengguna (UI) Azure Data Factory. Alur di pabrik data ini menyalin data dengan aman dari Azure Blob storage ke database Azure SQL (keduanya memungkinkan akses ke hanya jaringan yang dipilih) dengan menggunakan titik akhir privat di Azure Data Factory Managed Virtual Network. Pola konfigurasi dalam tutorial ini berlaku untuk menyalin dari penyimpanan data berbasis file ke penyimpanan data relasional. Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink, lihat tabel Penyimpanan data dan format yang didukung.

Catatan

Jika Anda baru menggunakan Azure Data Factory, lihat Pengantar Azure Data Factory.

Dalam tutorial ini, Anda melakukan tugas-tugas berikut:

• Membuat pabrik data.
• Membuat alur dengan aktivitas salinan.

Prasyarat

• Langganan Azure. Jika Anda belum memiliki langganan Azure, buat akun Azure gratis sebelum Anda memulai.
• Akun Azure Storage. Anda menggunakan penyimpanan Blob sebagai penyimpanan data sumber. Jika Anda belum memiliki akun penyimpanan Azure, lihat Buat akun penyimpanan Azure untuk mengetahui langkah-langkah pembuatannya. Pastikan akun penyimpanan hanya mengizinkan akses dari jaringan yang dipilih.
• Azure SQL Database. Anda menggunakan database sebagai penyimpanan data sink. Jika Anda tidak memiliki database Azure SQL, lihat Membuat database SQL untuk langkah-langkah membuatnya. Pastikan akun SQL Database hanya mengizinkan akses dari jaringan yang dipilih.

Buat blob dan tabel SQL

Sekarang, siapkan penyimpanan blob Anda dan database SQL untuk tutorial dengan melakukan langkah-langkah berikut.

Buat blob sumber

1. Buka Notepad. Salin teks berikut dan simpan sebagai file emp.txt di disk Anda:

   FirstName,LastName
   John,Doe
   Jane,Doe
   

2. Buat kontainer bernama adftutorial di penyimpanan blob Anda. Buat folder bernama input dalam kontainer ini. Lalu, unggah file emp.txt ke folder input. Gunakan portal Microsoft Azure atau alat seperti Penjelajah Azure Storage untuk melakukan tugas ini.

Buat tabel SQL sink

Gunakan skrip SQL berikut ini untuk membuat tabel dbo.emp di Azure SQL Database Anda:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Buat pabrik data

Dalam langkah ini, Anda membuat pabrik data dan memulai Antarmuka Pengguna Data Factory untuk membuat alur di pabrik data.

1. Buka Microsoft Edge atau Google Chrome. Saat ini, hanya browser web Microsoft Edge dan Google Chrome yang mendukung antarmuka pengguna Azure Data Factory.

2. Di menu bagian kiri, pilih Buat sumber daya>Analytics>Azure Data Factory.

3. Di halaman Pabrik data baru, di bawah Nama, masukkan ADFTutorialDataFactory.

   Nama pabrik data Azure harus bersifat unik secara global. Jika Anda menerima pesan kesalahan tentang nilai nama, masukkan nama yang berbeda untuk pabrik data (misalnya, yournameADFTutorialDataFactory). Untuk aturan penamaan artefak Data Factory, lihat artikel aturan penamaan Data Factory.

4. Pilih langganan Azure tempat Anda ingin membuat pabrik data.

5. Untuk Grup Sumber Daya, lakukan salah satu langkah berikut:

   • Pilih Gunakan yang ada, lalu pilih grup sumber daya yang ada dari daftar drop-down.
   • Pilih Buat baru, dan masukkan nama grup sumber daya.

   Untuk mempelajari grup sumber daya, lihat Menggunakan grup sumber daya untuk mengelola sumber daya Azure Anda.

6. Di bawah Versi, pilih V2.

7. Di bawah Lokasi, pilih lokasi untuk pabrik data. Hanya lokasi yang didukung yang ditampilkan di daftar drop-down. Penyimpanan data (misalnya, Microsoft Azure Storage dan Microsoft Azure SQL Database) dan komputasi (misalnya, Microsoft Azure HDInsight) yang digunakan oleh pabrik data dapat berada di wilayah lain.

8. Pilih Buat.

9. Setelah pembuatan selesai, Anda akan melihat pemberitahuan di pusat Pemberitahuan. Pilih Buka sumber daya untuk masuk ke halaman Azure Data Factory.

10. Pilih Buka pada petak peta Buka Azure Data Factory Studio untuk meluncurkan UI Data Factory di tab terpisah.

Membuat runtime integrasi Azure di Data Factory Managed Virtual Network

Dalam langkah ini, Anda membuat runtime integrasi Azure dan mengaktifkan Data Factory Managed Virtual Network.

1. Di portal Data Factory, buka Mengelola dan pilih Baru untuk membuat runtime integrasi Azure baru.

   

2. Pada halaman Penyetelan runtime integrasi, pilih runtime integrasi apa yang akan dibuat berdasarkan kapabilitas yang diperlukan. Dalam tutorial ini, pilih Azure, Host Mandiri lalu klik Lanjutkan.

3. Pilih Azure lalu klik Lanjutkan untuk membuat runtime integrasi Azure.

   

4. Di bawah Konfigurasi jaringan virtual (Pratinjau) , pilih Aktifkan.

   

5. Pilih Buat.

Membuat alur

Dalam langkah ini, Anda membuat alur dengan aktivitas salinan di pabrik data. Aktivitas salinan menyalin data dari penyimpanan Blob ke SQL Database. Dalam tutorial Mulai Cepat, Anda membuat alur dengan mengikuti langkah-langkah berikut:

1. Buat layanan tertaut.
2. Buat himpunan data input dan output.
3. Membuat alur.

Dalam tutorial ini, Anda mulai dengan membuat alur. Kemudian Anda membuat layanan dan himpunan data yang ditautkan saat Anda membutuhkannya untuk mengonfigurasikan alur.

1. Di beranda, pilih Orkestrasi.

   

2. Di panel properti untuk alur, masukkan CopyPipeline untuk nama alur.

3. Dalam kotak alat Aktivitas, luaskan kategori Pindahkan dan Transformasi, dan tarik aktivitas Salin data dari kotak alat ke permukaan perancang alur. Masukkan CopyFromBlobToSql untuk nama tersebut.

   

Mengonfigurasikan sumber

Tip

Dalam tutorial ini, Anda menggunakan kunci Akun sebagai jenis autentikasi untuk penyimpanan data sumber Anda. Anda juga dapat memilih metode autentikasi lain yang didukung, seperti SAS URI,Perwakilan Layanan, dan Identitas Terkelola jika diperlukan. Untuk informasi selengkapnya, lihat bagian terkait di Menyalin dan mengubah data di penyimpanan Azure Blob dengan menggunakan Azure Data Factory.

Untuk menyimpan rahasia untuk penyimpanan data dengan aman, kami juga menyarankan Agar Anda menggunakan Azure Key Vault. Untuk informasi dan ilustrasi selengkapnya, lihat Menyimpan info masuk di Azure Key Vault.

Membuat himpunan data sumber dan layanan tertaut

1. Masuk ke tabSumber. Pilih + Baru untuk membuat himpunan data sumber.

2. Di kotak dialog Himpunan Data Baru, pilih Azure Blob Storage, lalu pilih Lanjutkan. Data sumber berada di penyimpanan Blob, sehingga Anda memilih Azure Blob Storage untuk himpunan data sumber.

3. Di kotak dialog Pilih Format, pilih jenis format data Anda, lalu pilih Lanjutkan.

4. Dalam kotak dialog Atur Properti, masukkan SourceBlobDataset untuk Nama. Pilih kotak centang untuk Baris pertama sebagai header. Di samping kotak teks Layanan tertaut, pilih + Baru.

5. Dalam kotak dialog Layanan tertaut baru (Azure Blob Storage) , masukkan AzureStorageLinkedService sebagai Nama, dan pilih akun penyimpanan Anda dari daftar namaAkun penyimpanan.

6. Pastikan Anda mengaktifkan Penulisan interaktif. Mungkin perlu waktu sekitar satu menit untuk diaktifkan.

   

7. Pilih Pengujian koneksi. Seharusnya gagal ketika akun penyimpanan mengizinkan akses hanya dari Jaringan yang dipilih dan mengharuskan Data Factory untuk membuat titik akhir privat yang harus disetujui sebelum menggunakannya. Dalam pesan kesalahan, Anda akan melihat tautan untuk membuat titik akhir privat yang bisa Anda ikuti untuk membuat titik akhir privat terkelola. Alternatifnya adalah langsung masuk ke tab Kelola dan ikuti instruksi di bagian berikutnya untuk membuat titik akhir privat terkelola.

   Catatan

   Tab Kelola mungkin tidak tersedia untuk semua instans pabrik data. Jika Anda tidak melihatnya, Anda dapat mengakses titik akhir privat dengan memilih Titik Akhir Privat>Koneksi>Pembuat.

8. Biarkan kotak dialog terbuka, lalu buka akun penyimpanan Anda.

9. Ikuti instruksi di bagian ini untuk menyetujui tautan pribadi.

10. Kembali ke kotak dialog. Pilih Pengujian koneksi lagi, dan pilih Buat untuk menyebarkan layanan tertaut.

11. Setelah layanan tertaut dibuat, layanan akan kembali ke halaman Atur properti. Di samping Jalur file, pilih Telusuri.

12. Masuk ke folder adftutorial/input, pilih emp.txt file, lalu pilih OK.

13. PilihOK. Secara otomatis layanan akan masuk ke halaman alur. Pada tab Sumber, konfirmasikan bahwa SourceBlobDataset dipilih. Untuk mempratinjau data di halaman ini, pilih Pratinjau data.

    

Membuat titik akhir privat terkelola

Jika Anda tidak memilih hyperlink saat menguji koneksi, ikuti jalurnya. Sekarang Anda perlu membuat titik akhir privat terkelola yang akan Anda sambungkan ke layanan tertaut yang Anda buat.

1. Masuk ke tab Kelola.

   Catatan

   Tab Kelola mungkin tidak tersedia untuk semua instans Azure Data Factory. Jika Anda tidak melihatnya, Anda dapat mengakses titik akhir privat dengan memilih Titik Akhir Privat>Koneksi>Pembuat.

2. Masuk ke bagian Titik akhir pribadi terkelola.

3. Pilih + Baru di bawah Titik akhir privat terkelola.

   

4. Pilih petak peta Azure Blob Storage dari daftar, dan pilih Lanjutkan.

5. Masukkan nama akun penyimpanan yang Anda buat.

6. Pilih Buat.

7. Setelah beberapa detik, Anda akan melihat bahwa tautan pribadi yang dibuat memerlukan persetujuan.

8. Pilih titik akhir privat yang Anda buat. Anda bisa melihat hyperlink yang akan membawa Anda menyetujui titik akhir privat di tingkat akun penyimpanan.

   

Persetujuan tautan pribadi di akun penyimpanan

1. Di akun penyimpanan, buka Koneksi titik akhir privat di bawah bagianPengaturan.

2. Pilih kotak centang untuk titik akhir privat yang Anda buat, dan pilih Setujui.

   

3. Tambahkan deskripsi, dan pilih ya.

4. Kembali ke bagian Titik akhir privat terkelola pada tab Kelola di Data Factory.

5. Setelah sekitar satu atau dua menit, Anda akan melihat persetujuan titik akhir privat Anda muncul di Antarmuka Pengguna Data Factory.

Mengonfigurasikan sink

Tip

Dalam tutorial ini, Anda menggunakan autentikasi SQL sebagai jenis autentikasi untuk penyimpanan data sink Anda. Anda juga dapat memilih metode autentikasi lain yang didukung, seperti Perwakilan Layanan, danIdentitas Terkelola jika diperlukan. Untuk informasi selengkapnya, lihat bagian terkait di Menyalin dan mengubah data di Azure SQL Database dengan menggunakan Azure Data Factory.

Untuk menyimpan rahasia untuk penyimpanan data dengan aman, kami juga menyarankan Agar Anda menggunakan Azure Key Vault. Untuk informasi dan ilustrasi selengkapnya, lihat Menyimpan info masuk di Azure Key Vault.

Membuat himpunan data sink dan layanan tertaut

1. Buka tab Sink, dan pilih + Baru untuk membuat himpunan data sink.

2. Dalam kotak dialog Himpunan Data Baru, masukkan SQL di kotak pencarian untuk memfilter konektor. Pilih Azure SQL Database, lalu pilih Lanjutkan. Dalam tutorial ini, Anda menyalin data ke database SQL.

3. Dalam kotak dialog Atur Properti, masukkan OutputSqlDataset untuk Nama. Dari daftar drop-down Layanan tertaut, pilih +Baru. Himpunan data harus dikaitkan dengan layanan tertaut. Layanan yang ditautkan memiliki string koneksi yang digunakan Data Factory untuk menyambungkan ke database SQL pada waktu proses. Himpunan data menentukan kontainer, folder, dan file (opsional) tempat data disalin.

4. Di kotak dialog Layanan tertaut Baru (Azure SQL Database) , lakukan langkah-langkah berikut ini:

   1. Di bawahNama, masukkan AzureSqlDatabaseLinkedService.
   2. Di bawah Nama server, pilih instans SQL Server Anda.
   3. Pastikan Anda mengaktifkan Penulisan interaktif.
   4. Di bawah Nama database, pilih database SQL Anda.
   5. Di bawahNama pengguna, masukkan nama pengguna.
   6. Di bawah Kata sandi, masukkan kata sandi untuk pengguna.
   7. Pilih Pengujian koneksi. Seharusnya gagal ketika server SQL mengizinkan akses hanya dari Jaringan yang dipilih dan mengharuskan Data Factory untuk membuat titik akhir privat yang harus disetujui sebelum menggunakannya. Dalam pesan kesalahan, Anda akan melihat tautan untuk membuat titik akhir privat yang bisa Anda ikuti untuk membuat titik akhir privat terkelola. Alternatifnya adalah langsung masuk ke tab Kelola dan ikuti instruksi di bagian berikutnya untuk membuat titik akhir privat terkelola.
   8. Biarkan kotak dialog terbuka, lalu masuk ke server SQL yang Anda pilih.
   9. Ikuti instruksi di bagian ini untuk menyetujui tautan pribadi.
   10. Kembali ke kotak dialog. Pilih Pengujian koneksi lagi, dan pilih Buat untuk menyebarkan layanan tertaut.

5. Layanan ini secara otomatis masuk ke kotak dialog Atur Properti. Dalam Tabel, pilih [dbo].[ emp] . Kemudian, pilih OK.

6. Buka tab dengan alur, dan di Himpunan data sink, konfirmasikan bahwa OutputSqlDataset dipilih.

   

Anda dapat secara opsional memetakan skema sumber ke skema tujuan yang sesuai dengan mengikuti Pemetaan skema dalam aktivitas salin.

Membuat titik akhir privat terkelola

Jika Anda tidak memilih hyperlink saat menguji koneksi, ikuti jalurnya. Sekarang Anda perlu membuat titik akhir privat terkelola yang akan Anda sambungkan ke layanan tertaut yang Anda buat.

1. Masuk ke tab Kelola.

2. Masuk ke bagian Titik akhir pribadi terkelola.

3. Pilih + Baru di bawah Titik akhir privat terkelola.

   

4. Pilih petak peta Azure SQL Database dari daftar, dan pilih Lanjutkan.

5. Masukkan nama server SQL yang Anda pilih.

6. Pilih Buat.

7. Setelah beberapa detik, Anda akan melihat bahwa tautan pribadi yang dibuat memerlukan persetujuan.

8. Pilih titik akhir privat yang Anda buat. Anda bisa melihat hyperlink yang akan membawa Anda menyetujui titik akhir privat di tingkat SQL server.

Persetujuan link privat di SQL Server

1. Di SQL server, buka Koneksi titik akhir privat di bawah bagian Pengaturan.
2. Pilih kotak centang untuk titik akhir privat yang Anda buat, dan pilih Setujui.
3. Tambahkan deskripsi, dan pilih ya.
4. Kembali ke bagian Titik akhir privat terkelola pada tab Kelola di Data Factory.
5. Diperlukan waktu satu atau dua menit agar persetujuan muncul untuk titik akhir privat Anda.

Men-debug dan menerbitkan alur

Anda dapat men-debug alur sebelum menerbitkan artefak (layanan tertaut, himpunan data, dan alur) ke Data Factory atau repositori Azure Repos Git Anda sendiri.

1. Untuk men-debug alur, pilih Debug pada toolbar. Anda melihat status alur yang dijalankan di tab Output di bagian bawah jendela.
2. Setelah alur berhasil dijalankan, di toolbar atas, pilih Terbitkan semua. Tindakan ini menerbitkan entitas (himpunan data dan alur) yang Anda buat ke Data Factory.
3. Tunggu hingga Anda melihat pesan Berhasil diterbitkan. Untuk melihat pesan pemberitahuan, pilih Perlihatkan Pemberitahuan di sudut kanan atas (tombol bel).

Ringkasan

Alur dalam sampel ini menyalin data dari penyimpanan Blob ke SQL Database dengan menggunakan titik akhir privat di Data Factory Managed Virtual Network. Anda mempelajari cara untuk:

• Membuat pabrik data.
• Membuat alur dengan aktivitas salinan.