Menyalin data dari database SQL Server ke penyimpanan Azure Blob

APPLIES TO:Azure Data Factory Azure Synapse Analytics

Dalam tutorial ini, Anda menggunakan antarmuka pengguna Azure Data Factory untuk membuat alur pabrik data yang menyalin data dari database Microsoft SQL Server ke penyimpanan Azure Blob. Anda membuat dan menggunakan runtime integrasi yang dihosting sendiri, yang memindahkan data antara penyimpanan data lokal dan cloud.

Catatan

Artikel ini tidak menyediakan pengenalan terperinci ke Azure Data Factory. Untuk informasi selengkapnya, lihat Pengantar Azure Data Factory.

Anda melakukan langkah-langkah berikut dalam tutorial ini:

  • Membuat pabrik data.
  • Membuat rutime integrasi yang dihost sendiri.
  • Buat layanan tertaut SQL Server dan Azure Storage.
  • Buat himpunan data SQL Server dan Blob Azure.
  • Buat alur dengan aktivitas salin untuk memindahkan data.
  • Mulai jalankan alur.
  • Memantau eksekusi alur.

Prasyarat

Langganan Azure

Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum memulai.

Peran Azure

Untuk membuat instans data factory, akun pengguna yang Anda gunakan untuk masuk ke Azure harus menjadi anggota peran Kontributor atau Pemilik, atau admin langganan Azure.

Untuk menampilkan izin yang Anda miliki dalam langganan, masuk ke portal Microsoft Azure. Di sudut kanan atas, pilih nama pengguna Anda, lalu pilih Izin. Jika Anda memiliki akses ke beberapa langganan, pilih langganan yang sesuai. Untuk contoh instruksi tentang cara menambahkan pengguna ke peran, lihat Tetapkan peran Azure menggunakan portal Microsoft Azure.

Microsoft SQL Server 2014, 2016, dan 2017

Anda menggunakan database Microsoft SQL Server sebagai penyimpanan data sumber dalam tutorial ini. Alur di pabrik data yang Anda buat dalam tutorial ini menyalin data dari database Microsoft SQL Server ini (sumber) ke penyimpanan Blob (sink). Anda kemudian membuat tabel bernama emp di database SQL Server Anda dan menyisipkan beberapa contoh entri ke dalam tabel.

  1. Mulai Microsoft SQL Server Management Studio. Jika belum terinstal di komputer Anda, buka Mengunduh Microsoft SQL Server Management Studio.

  2. Sambungkan ke instans SQL Server Anda dengan menggunakan informasi masuk Anda.

  3. Membuat contoh database. Dalam tampilan pohon, klik kanan Database, lalu pilih Database Baru.

  4. Di jendela Database Baru, masukkan nama untuk database, lalu pilih OK.

  5. Untuk membuat tabel emp dan menyisipkan beberapa contoh data ke dalamnya, jalankan skrip kueri berikut ini terhadap database. Dalam tampilan pohon, klik kanan database yang Anda buat, lalu pilih Kueri Baru.

     CREATE TABLE dbo.emp
     (
         ID int IDENTITY(1,1) NOT NULL,
         FirstName varchar(50),
         LastName varchar(50)
     )
     GO
    
     INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
     INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
     GO
    

Akun penyimpanan Azure

Dalam tutorial ini, Anda menggunakan akun penyimpanan Azure tujuan umum (khususnya, penyimpanan Blob) sebagai penyimpanan data tujuan/sink. Jika Anda tidak memiliki akun penyimpanan Azure, lihat Membuat akun penyimpanan. Alur di pabrik data yang Anda buat dalam tutorial ini menyalin data dari database Microsoft SQL Server ini (sumber) ke penyimpanan Blob (sink).

Dapatkan nama akun penyimpanan dan kunci akun

Anda menggunakan nama dan kunci akun penyimpanan Anda dalam tutorial ini. Untuk mendapatkan nama dan kunci akun penyimpanan Anda, ikuti langkah-langkah berikut:

  1. Masuk ke portal Microsoft Azure dengan nama pengguna dan kata sandi Azure Anda.

  2. Pilih Semua layanan di panel sebelah kiri. Filter dengan menggunakan kata kunci Penyimpanan, lalu pilih Akun penyimpanan.

    Storage account search

  3. Dalam daftar akun penyimpanan, filter untuk akun penyimpanan Anda jika diperlukan. Pilih akun penyimpanan Anda.

  4. Di jendela Akun penyimpanan, pilih Tombol akses.

  5. Dalam kotak Nama akun penyimpanan dan kunci1, salin nilai, lalu tempelkan ke Notepad atau editor lain untuk digunakan nanti dalam tutorial.

Membuat kontainer adftutorial

Di bagian ini, Anda membuat kontainer blob bernama adftutorial di penyimpanan Blob Anda.

  1. Di jendela Akun penyimpanan, buka Gambaran Umum, lalu pilih Kontainer.

    Select Blobs option

  2. Di jendela Kontainer, pilih + Kontainer untuk membuat yang baru.

  3. Di jendela Kontainer baru, di bawah Nama, masukkan adftutorial. Kemudian pilih Buat.

  4. Dalam daftar kontainer, pilih adftutorial yang baru saja Anda buat.

  5. Pastikan jendela kontainer untuk adftutorial tetap terbuka. Anda menggunakannya untuk memverifikasi output di akhir tutorial. Data Factory secara otomatis membuat folder output dalam kontainer ini, sehingga Anda tidak perlu membuatnya.

Buat pabrik data

Dalam langkah ini, Anda membuat pabrik data dan memulai UI Data Factory untuk membuat alur di pabrik data.

  1. Buka browser web Microsoft Edge atau Google Chrome. Saat ini, antarmuka pengguna Data Factory hanya didukung di browser web Microsoft Edge dan Google Chrome.

  2. Di menu sebelah kiri, pilih Buat sumber daya>Integrasi>Data Factory:

    Data Factory selection in the "New" pane

  3. Di halaman Pabrik data baru, di bawah Nama, masukkan ADFTutorialDataFactory.

    Nama pabrik data harus unik secara global. Jika Anda melihat pesan kesalahan bidang nama berikut, ubah nama pabrik data (contohnya, yournameADFTutorialDataFactory). Untuk aturan penamaan artefak Data Factory, lihat artikel aturan penamaan Data Factory.

    New data factory error message for duplicate name.

  4. Pilih langganan Azure Anda tempat Anda ingin membuat pabrik datanya.

  5. Untuk Grup Sumber Daya, lakukan salah satu langkah berikut:

  6. Di bawah Versi, pilih V2.

  7. DI bawah Lokasi, pilih lokasi untuk pabrik data. Hanya lokasi yang didukung yang ditampilkan di daftar drop-down. Data disimpan (misalnya, Microsoft Azure Storage dan Microsoft Azure SQL Database) dan komputasi (misalnya, Microsoft Azure HDInsight) yang digunakan oleh Data Factory dapat berada di wilayah lain.

  8. Pilih Buat.

  9. Setelah pembuatan selesai, Anda akan melihat halaman Azure Data Factory seperti yang ditunjukkan pada gambar:

    Home page for the Azure Data Factory, with the Open Azure Data Factory Studio tile.

  10. Pilih Buka pada petak peta Buka Azure Data Factory Studio untuk meluncurkan UI Data Factory di tab terpisah.

Membuat alur

  1. Di beranda Azure Data Factory, pilih Atur. Alur secara otomatis dibuat untuk Anda. Anda melihat alur dalam tampilan pohon, dan editornya terbuka.

    Screenshot that shows the Azure Data Factory home page.

  2. Di panel Umum di bawah Properti, tetapkan SQLServerToBlobPipeline untuk Nama. Lalu ciutkan panel dengan mengeklik ikon Properti di pojok kanan atas.

  3. Di kotak alat Aktivitas, perluas Pindah & Transformasikan. Seret dan hilangkan aktivitasSalin ke permukaan desain alur. Atur nama aktivitas ke CopySqlServerToAzureBlobActivity.

  4. Di jendela Properti, masuk ke tab Sumber, dan pilih + Baru.

  5. Dalam kotak dialog Himpunan Data Baru, cari Microsoft SQL Server. Pilih Microsoft SQL Server, lalu pilih Lanjutkan. New SqlServer dataset

  6. Dalam kotak dialog Atur Properti, di bawah Nama, masukkan SqlServerDataset. Di bawah Layanan tertaut, pilih + Baru. Anda membuat koneksi ke penyimpanan data sumber (database Microsoft SQL Server) dalam langkah ini.

  7. Dalam kotak dialog Layanan Tertaut Baru, tambahkan Nama sebagai SqlServerLinkedService. Di bawah Sambungkan melalui runtime integrasi, pilih +Baru. Di bagian ini, Anda membuat runtime integrasi yang dihost sendiri dan mengaitkannya dengan mesin lokal dengan database Microsoft SQL Server. Runtime integrasi yang dihost sendiri adalah komponen yang menyalin data dari database Microsoft SQL Server di mesin penyimpanan Blob Anda.

  8. Dalam kotak dialog Penyetelan Microsoft Integration Runtime, pilih Dihost Sendiri, lalu pilih Lanjutkan.

  9. Di bawah nama, masukkan TutorialIntegrationRuntime. Kemudian pilih Buat.

  10. Untuk Setelan, pilih Klik di sini untuk meluncurkan penyetelan ekspres untuk komputer ini. Tindakan ini menginstal runtime integrasi pada mesin Anda dan mendaftarkannya dengan Azure Data Factory. Atau, Anda dapat menggunakan opsi pengaturan manual untuk mengunduh file instalasi, menjalankannya, dan menggunakan kunci untuk mendaftarkan runtime integrasi. Integration runtime setup

  11. Di jendela Integrasi Runtime (Dihost sendiri) Penyiapan Ekspres, pilih Tutup saat proses selesai.

    Integration runtime (self-hosted) express setup

  12. Dalam kotak dialog Layanan tertaut baru (Microsoft SQL Server), konfirmasikan bahwa TutorialIntegrationRuntime dipilih di bawah Sambungkan melalui runtime integrasi. Lalu, Ikuti langkah-langkah berikut:

    a. Di bawah Nama, masukkan SqlServerLinkedService.

    b. Di bawah Nama server, masukkan nama instans SQL Server Anda.

    c. Di bawah Nama database, masukkan nama database dengan tabel emp.

    d. Di bawah Tipe autentikasi, pilih jenis autentikasi yang sesuai yang harus digunakan Azure Data Factory untuk menyambungkan ke database Microsoft SQL Server Anda.

    e. Di bawah Nama pengguna dan Kata Sandi, masukkan nama pengguna dan kata sandi. Gunakan mydomain\myuser sebagai nama pengguna jika diperlukan.

    f. Pilih Pengujian koneksi. Langkah ini untuk mengonfirmasi bahwa Azure Data Factory dapat terhubung ke database Microsoft SQL Server Anda dengan menggunakan runtime integrasi yang dihost sendiri yang Anda buat.

    g. Pilih Buat untuk menyimpan layanan tertaut.

    New linked service (SQL Server)

  13. Setelah layanan tertaut dibuat, Anda kembali ke halaman Atur properti untuk SqlServerDataset. Ikuti langkah-langkah berikut:

    a. Dalam Layanan tertaut, konfirmasikan bahwa Anda melihat SqlServerLinkedService.

    b. Di bawah Nama tabel, pilih [dbo].[ emp] .

    c. PilihOK.

  14. Buka tab dengan SQLServerToBlobPipeline, atau pilih SQLServerToBlobPipeline dalam tampilan pohon.

  15. Masuk ke tab Sink di bagian bawah jendela Properti, dan pilih + Baru.

  16. Dalam kotak dialog KumpulanHimpunan Data Baru, pilih Azure Blob Storage. Lalu Pilih Lanjutkan.

  17. Dalam kotak dialog Pilih Format, pilih jenis format data Anda. Lalu pilih Lanjutkan.

    Data format selection

  18. Dalam kotak dialog Atur Properti, masukkan AzureBlobDataset untuk Nama. Di samping kotak teks Layanan tertaut, pilih + Baru.

  19. Dalam kotak dialog Layanan Tertaut Baru (Azure Blob Storage), masukkan AzureStorageLinkedService sebagai nama, pilih akun penyimpanan Anda dari daftar namaAkun penyimpanan. Pengujian koneksi, lalu pilih Buat untuk menyebarkan layanan tertaut.

  20. Setelah layanan tertaut dibuat, Anda kembali ke halaman Atur properti. PilihOK.

  21. Buka himpunan data sink. Pada tab Koneksi, ikuti langkah-langkah berikut ini:

    a. Dalam layanan Tertaut, konfirmasikan bahwa AzureStorageLinkedService dipilih.

    b. Di jalur File, masukkan adftutorial/fromonprem untuk bagian Kontainer/ Direktori. Jika folder output tidak ada di kontainer adftutorial, Azure Data Factory secara otomatis membuat folder output.

    c. Untuk bagian File, pilih Tambahkan konten dinamis. dynamic expression for resolving file name

    d. Tambahkan @CONCAT(pipeline().RunId, '.txt'), lalu pilih Selesai. Aksi ini akan mengganti nama file dengan PipelineRunID.txt.

  22. Masuk ke tab dengan alur terbuka, atau pilih alur pada tampilan pohon. Di Himpunan Data Sink, konfirmasikan bahwa AzureBlobDataset dipilih.

  23. Untuk memvalidasi pengaturan alur, pilih Validasi pada toolbar untuk alur. Untuk menutup output validasi alur, pilih ikon >> . validate pipeline

  24. Untuk menerbitkan entitas yang Anda buat ke Azure Data Factory, pilih Terbitkan semua.

  25. Tunggu hingga Anda melihat pop-up Penerbitan selesai. Untuk memeriksa status penerbitan, pilih tautan Perlihatkan pemberitahuan di bagian atas jendela. Untuk menutup jendela pemberitahuan, pilih Tutup.

Memicu proses alur

Pilih Tambahkan Pemicu padabar alat untuk alur, lalu pilih Picu Sekarang.

Memantau eksekusi alur

  1. Masuk ke tab Monitor. Anda melihat alur yang Anda picu secara manual di langkah sebelumnya.

  2. Untuk melihat aktivitas yang terkait dengan alur eksekusi pilih tautan SQLServerToBlobPipeline di bawah NAMA PIPELINE. Monitor pipeline runs

  3. Pada halaman Eksekusi aktivitas, pilih tautan Detail (gambar kacamata) untuk melihat detail tentang operasi salin. Untuk kembali ke tampilan Eksekusi Alur, pilih Semua eksekusi laur di bagian atas.

Verifikasi output

Alur secara otomatis membuat folder output bernama fromonprem di adftutorialkontainer blob. Konfirmasikan bahwa Anda melihat file [pipeline(). RunId].txt di dalam folder keluar.

Langkah berikutnya

Alur dalam sampel ini menyalin data dari satu lokasi ke lokasi lain dalam penyimpanan Azure Blob. Anda mempelajari cara untuk:

  • Membuat pabrik data.
  • Membuat rutime integrasi yang dihost sendiri.
  • Membuat layanan tertaut Microsoft SQL Server dan Microsoft Azure Storage.
  • Membuat himpunan data Microsoft SQL Server dan penyimpanan Blob.
  • Buat alur dengan aktivitas salin untuk memindahkan data.
  • Mulai jalankan alur.
  • Memantau eksekusi alur.

Untuk daftar penyimpanan data yang didukung oleh Azure Data Factory, lihat Penyimpanan data yang didukung.

Untuk mempelajari cara menyalin data secara massal dari sumber ke tujuan, lanjutkan ke tutorial berikut: