Tutorial: Membuat alur dengan Aktivitas Salin menggunakan Visual Studio

  • Artikel
  • 18 menit untuk membaca

Catatan

Artikel ini berlaku untuk versi 1 dari Azure Data Factory. Jika Anda menggunakan versi layanan Data Factory saat ini, lihat tutorial aktivitas salin.

Dalam artikel ini, Anda mempelajari cara menggunakan Visual Studio untuk membuat pabrik data dengan alur yang menyalin data dari penyimpanan blob Azure ke Azure SQL Database. Jika Anda baru menggunakan Azure Data Factory, baca artikel Pengenalan Azure Data Factory sebelum melakukan tutorial ini.

Dalam tutorial ini, Anda membuat alur dengan satu aktivitas di dalamnya: Aktivitas Salin. Aktivitas salin menyalin data dari penyimpanan data yang didukung ke penyimpanan data sink yang didukung. Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink, lihat penyimpanan data yang didukung. Aktivitas ini didukung oleh layanan yang tersedia secara global yang dapat menyalin data antara berbagai penyimpanan data dengan cara yang aman, andal, dan dapat diskalakan. Untuk informasi selengkapnya tentang Aktivitas Salin, lihat Aktivitas Pergerakan Data.

Sebuah alur dapat memiliki lebih dari satu aktivitas. Selain itu, Anda dapat merangkai dua aktivitas (menjalankan satu demi satu aktivitas) dengan mengatur himpunan data output dari satu aktivitas sebagai himpunan data input aktivitas lainnya. Untuk informasi selengkapnya, lihat beberapa aktivitas dalam alur.

Catatan

Alur data dalam tutorial ini menyalin data dari penyimpanan data sumber ke penyimpanan data tujuan. Untuk tutorial tentang cara mengubah data menggunakan Azure Data Factory, lihat Tutorial: Membangun alur untuk mengubah data menggunakan kluster Hadoop.

Prasyarat

Catatan

Artikel ini menggunakan modul Azure Az PowerShell, yang merupakan modul PowerShell yang direkomendasikan untuk berinteraksi dengan Azure. Untuk mulai menggunakan modul Az PowerShell, lihat Menginstal Azure PowerShell. Untuk mempelajari cara bermigrasi ke modul Az PowerShell, lihat Memigrasikan Azure PowerShell dari AzureRM ke Az.

  1. Baca artikel Gambaran Umum Tutorial dan selesaikan langkah-langkah prasyarat.
  2. Untuk membuat instans Data Factory, Anda harus menjadi anggota peran Kontributor Data Factory di tingkat langganan/grup sumber daya.
  3. Anda harus memiliki berikut ini yang terinstal pada komputer:
    • Visual Studio 2013 atau Visual Studio 2015
    • Unduh Azure SDK untuk Visual Studio 2013 atau Visual Studio 2015. Navigasi ke Halaman Unduhan Azure dan klik VS 2013 atau VS 2015 di bagian .NET.
    • Unduh plugin Azure Data Factory terbaru untuk Visual Studio: VS 2013 atau VS 2015. Anda juga dapat memperbarui plugin dengan melakukan langkah-langkah berikut: Pada menu, klik Alat ->Ekstensi dan Pembaruan ->Online ->Galeri Visual Studio ->Alat Microsoft Azure Data Factory untuk Visual Studio ->Pembaruan.

Langkah-langkah

Berikut adalah langkah-langkah yang Anda lakukan sebagai bagian dari tutorial ini:

  1. Buat layanan tertaut di pabrik data. Dalam langkah ini, Anda membuat dua jenis layanan tertaut: Azure Storage dan Azure SQL Database.

    AzureStorageLinkedService menautkan akun penyimpanan Azure Anda ke pabrik data. Anda membuat kontainer dan mengunggah data ke akun penyimpanan ini sebagai bagian dari prasyarat.

    AzureSqlLinkedService menautkan Azure SQL Database ke pabrik data. Data yang disalin dari penyimpanan blob disimpan dalam database ini. Anda membuat tabel SQL dalam database ini sebagai bagian dari prasyarat.

  2. Membuat himpunan data input dan output di pabrik data.

    Layanan tertaut penyimpanan Azure menentukan string koneksi yang digunakan layanan Data Factory pada durasi untuk menyambungkan ke akun penyimpanan Azure Anda. Dan, kumpulan data blob input menentukan kontainer dan folder yang berisi data input.

    Layanan tertaut penyimpanan Azure menentukan string koneksi yang digunakan layanan Data Factory pada durasi saat menyambungkan ke Azure SQL Database. Dan, himpunan data tabel SQL output menentukan tabel dalam database tempat data dari penyimpanan blob disalin.

  3. Buat alur di pabrik data. Dalam langkah ini, Anda membuat alur dengan aktivitas salin.

    Aktivitas salin menyalin data dari blob di penyimpanan blob Azure ke tabel di Azure SQL Database. Anda dapat menggunakan aktivitas salin di alur untuk menyalin data dari sumber yang didukung ke tujuan yang didukung. Untuk daftar penyimpanan data yang didukung, lihat artikel aktivitas pergerakan data.

  4. Buat pabrik data Azure saat menerapkan entitas Data Factory (layanan tertaut, himpunan data/tabel, dan alur).

Membuat proyek Visual Studio

  1. Luncurkan Visual Studio 2015. Klik File, arahkan ke Baru, dan klik Proyek. Anda akan melihat kotak dialog Proyek Baru.

  2. Dalam dialog Proyek Baru, pilih templat DataFactory, dan klik Kosongkan Proyek Data Factory.

    New project dialog box

  3. Tentukan nama proyek, lokasi untuk solusi, dan nama solusi, lalu klik OK.

    Solution Explorer

Membuat layanan tertaut

Anda membuat layanan tertaut di pabrik data untuk menautkan penyimpanan data dan layanan komputasi ke pabrik data. Dalam tutorial ini, Anda tidak menggunakan layanan komputasi apa pun seperti Azure HDInsight atau Azure Data Lake Analytics. Anda menggunakan dua penyimpanan data jenis Azure Storage (sumber) dan Azure SQL Database (tujuan).

Oleh karena itu, Anda membuat dua layanan jenis yang ditautkan: AzureStorage dan AzureSqlDatabase.

Layanan tertaut Azure Storage menautkan akun penyimpanan Azure Anda ke pabrik data. Akun penyimpanan ini adalah salah satu tempat Anda membuat kontainer dan mengunggah data sebagai bagian dari prasyarat.

Layanan tertaut Azure SQL menautkan Azure SQL Database ke pabrik data. Data yang disalin dari penyimpanan blob disimpan dalam database ini. Anda membuat tabel emp dalam database ini sebagai bagian dari prasyarat.

Layanan tertaut menautkan penyimpanan data atau layanan komputasi ke pabrik data. Lihat penyimpanan data yang didukung untuk semua sumber dan sink yang didukung oleh Aktivitas Salin. Lihat layanan komputasi tertaut untuk daftar layanan komputasi yang didukung oleh Data Factory. Dalam tutorial ini, Anda tidak menggunakan layanan komputasi apa pun.

Membuat layanan tertaut Azure Storage

  1. Di Penjelajah Solusi,klik kanan Layanan Tertaut, arahkan ke Tambahkan, dan klik Item Baru.

  2. Dalam kotak dialog Tambahkan Item Baru, pilih Layanan Tertaut Azure Storage dari daftar, dan klik Tambahkan.

    New Linked Service

  3. Ganti <accountname> dan <accountkey>* dengan nama akun penyimpanan Azure Anda dan kuncinya.

    Azure Storage Linked Service

  4. Simpan file AzureStorageLinkedService1.json.

    Untuk informasi selengkapnya tentang properti JSON dalam definisi layanan tertaut, lihat artikel konektor Azure Blob Storage.

Membuat layanan tertaut Azure SQL

  1. Klik kanan pada node Layanan Tertaut di Penjelajah Solusi lagi, arahkan ke Tambahkan, dan klik Item Baru.

  2. Kali ini, pilih Layanan Tertaut Azure SQL, dan klik Tambahkan.

  3. Di file AzureSqlLinkedService1.json, ganti <servername>, <databasename>, <username@servername>, dan <password> dengan nama server, database, akun pengguna, dan kata sandi Anda.

  4. Simpan file AzureSqlLinkedService1.json.

    Untuk informasi selengkapnya tentang properti JSON ini, lihat konektor Azure SQL Database.

Membuat himpunan data

Pada langkah sebelumnya, Anda membuat layanan tertaut untuk menautkan akun Azure Storage dan Azure SQL Database ke pabrik data Anda. Dalam langkah ini, Anda menentukan dua set data bernama InputDataset dan OutputDataset yang mewakili data input dan output yang disimpan di penyimpanan data yang masing-masing dirujuk oleh AzureStorageLinkedService1 dan AzureSqlLinkedService1.

Layanan tertaut penyimpanan Azure menentukan string koneksi yang digunakan layanan Data Factory pada durasi saat menyambungkan ke akun penyimpanan Azure Anda. Dan, himpunan data blob input (InputDataset) menentukan kontainer dan folder yang berisi data input.

Layanan tertaut penyimpanan Azure menentukan string koneksi yang digunakan layanan Data Factory pada durasi saat menyambungkan ke Azure SQL Database. Dan, himpunan data tabel SQL output (OututDataset) menentukan tabel dalam database tempat data dari penyimpanan blob disalin.

Membuat himpunan data input

Dalam langkah ini, Anda membuat himpunan data bernama InputDataset yang menunjuk ke file blob (emp.txt) di folder akar kontainer blob (adftutorial) di Azure Storage yang diwakili oleh layanan tertaut AzureStorageLinkedService1. Jika Anda tidak menentukan nilai untuk fileName (atau melewatinya), data dari semua blob di folder input akan disalin ke tujuan. Dalam tutorial ini, Anda menentukan nilai untuk fileName.

Di sini, Anda menggunakan istilah "tabel" daripada "himpunan data". Tabel adalah kumpulan data persegi panjang dan merupakan satu-satunya jenis himpunan data yang didukung saat ini.

  1. Klik kanan Tabel di Penjelajah Solusi, arahkan ke Tambahkan, dan klik Item Baru.

  2. Dalam kotak dialog Tambahkan Item Baru, pilih Azure Blob, dan klik Tambahkan.

  3. Ganti teks JSON dengan teks berikut dan simpan file AzureBlobLocation1.json.

    {
 "name": "InputDataset",
 "properties": {
   "structure": [
     {
       "name": "FirstName",
       "type": "String"
     },
     {
       "name": "LastName",
       "type": "String"
     }
   ],
   "type": "AzureBlob",
   "linkedServiceName": "AzureStorageLinkedService1",
   "typeProperties": {
     "folderPath": "adftutorial/",
     "format": {
       "type": "TextFormat",
       "columnDelimiter": ","
     }
   },
   "external": true,
   "availability": {
     "frequency": "Hour",
     "interval": 1
   }
 }
}

    Tabel berikut ini menyediakan deskripsi untuk properti JSON yang digunakan dalam cuplikan:

    Properti Deskripsi
    jenis Properti jenis diatur ke AzureBlob karena data berada di penyimpanan blob Azure.
    linkedServiceName Mengacu pada AzureStorageLinkedService yang dibuat sebelumnya.
    folderPath Menentukan kontainer blob dan folder yang berisi blob input. Dalam tutorial ini, adftutorial adalah kontainer blob dan folder adalah folder akar.
    fileName Properti ini bersifat opsional. Jika Anda menghilangkan properti ini, semua file dari folderPath akan dipilih. Dalam tutorial ini, emp.txt ditentukan untuk fileName, jadi hanya file yang diambil untuk diproses.
    format -> jenis File input berada dalam format teks, jadi kami menggunakanTextFormat.
    columnDelimiter Kolom dalam file input dibatasi oleh commacharacter (,) .
    frekuensi/interval Frekuensi diatur ke Jam dan interval diatur ke 1, yang berarti bahwa potongan input tersedia setiap jam. Dengan kata lain, layanan Data Factory mencari data input setiap jam di folder akar kontainer blob (adftutorial) yang Anda tentukan. Hal ini mencari data dalam alur waktu mulai dan berakhir, bukan sebelum atau sesudah waktu ini.
    eksternal Properti ini diatur ke benar jika data tidak dihasilkan oleh alur dengan ini. Data input dalam tutorial ini ada di file emp.txt, yang tidak dihasilkan oleh alur ini, jadi kami menetapkan properti ini menjadi benar.

    Untuk informasi selengkapnya tentang properti JSON ini, lihat artikel konektor Azure Blob.

Membuat himpunan data output

Dalam langkah ini, Anda membuat himpunan data output bernama OutputDataset. Himpunan data ini menunjuk ke tabel SQL di Azure SQL Database yang diwakili oleh AzureSqlLinkedService1.

  1. Klik kanan Tabel di Penjelajah Solusi lagi, arahkan ke Tambahkan, dan klik Item Baru.

  2. Dalam kotak dialog Tambahkan Item Baru, pilih Azure SQL, dan klik Tambahkan.

  3. Ganti teks JSON dengan JSON berikut dan simpan file AzureSqlTableLocation1.json.

    {
    "name": "OutputDataset",
    "properties": {
        "structure": [
            {
                "name": "FirstName",
                "type": "String"
            },
            {
                "name": "LastName",
                "type": "String"
            }
        ],
        "type": "AzureSqlTable",
        "linkedServiceName": "AzureSqlLinkedService1",
        "typeProperties": {
          "tableName": "emp"
        },
        "availability": {
          "frequency": "Hour",
          "interval": 1
        }
    }
}

    Tabel berikut ini menyediakan deskripsi untuk properti JSON yang digunakan dalam cuplikan:

    Properti Deskripsi
    jenis Properti jenis disetel ke AzureSqlTable karena data disalin ke tabel di Azure SQL Database.
    linkedServiceName Mengacu pada AzureSqlLinkedService yang Anda buat sebelumnya.
    tableName Menentukan tabel tempat data disalin.
    frekuensi/interval Frekuensi diatur ke Jam dan interval 1, yang berarti potongan output diproduksi setiap setap jam antara waktu mulai dan selesai alur, bukan sebelum atau sesudah waktu ini.

    Ada tiga kolom – ID, FirstName, dan LastName – dalam tabel emp di database. ID adalah kolom identitas, jadi Anda hanya perlu menentukan FirstName dan LastName di sini.

    Untuk informasi selengkapnya tentang properti JSON ini, lihat artikel konektor Azure SQL.

Buat alur

Dalam langkah ini, Anda membuat alur dengan aktivitas salin yang menggunakan InputDataset sebagai input dan OutputDataset sebagai output.

Saat ini, himpunan data output adalah apa yang mendorong jadwal. Dalam tutorial ini, himpunan data output dikonfigurasi untuk menghasilkan potongan satu jam sekali. Alur memiliki waktu mulai dan waktu selesai yang terpisah satu hari, yaitu 24 jam. Oleh karena itu, 24 irisan himpunan data output diproduksi oleh alur.

  1. Klik kanan Alur di Penjelajah Solusi, arahkan ke Tambahkan, dan klik Item Baru.

  2. Pilih Salin Alur Data dalam kotak dialog Tambahkan Item Baru dan klik Tambahkan.

  3. Ganti JSON dengan JSON berikut dan simpan file CopyActivity1.json.

    {
  "name": "ADFTutorialPipeline",
  "properties": {
    "description": "Copy data from a blob to Azure SQL table",
    "activities": [
      {
        "name": "CopyFromBlobToSQL",
        "type": "Copy",
        "inputs": [
          {
            "name": "InputDataset"
          }
        ],
        "outputs": [
          {
            "name": "OutputDataset"
          }
        ],
        "typeProperties": {
          "source": {
            "type": "BlobSource"
          },
          "sink": {
            "type": "SqlSink",
            "writeBatchSize": 10000,
            "writeBatchTimeout": "60:00:00"
          }
        },
        "Policy": {
          "concurrency": 1,
          "executionPriorityOrder": "NewestFirst",
          "style": "StartOfInterval",
          "retry": 0,
          "timeout": "01:00:00"
        }
      }
    ],
    "start": "2017-05-11T00:00:00Z",
    "end": "2017-05-12T00:00:00Z",
    "isPaused": false
  }
}

    • Di bagian aktivitas, hanya ada satu aktivitas yang jenisnya diatur ke Salin. Untuk informasi selengkapnya tentang aktivitas salin, lihat aktivitas pergerakan data. Dalam solusi Data Factory, Anda juga dapat menggunakan aktivitas transformasi data.

    • Input untuk aktivitas diatur ke InputDataset dan output untuk aktivitas diatur ke OutputDataset.

    • Di bagian typeProperties, BlobSource ditentukan sebagai jenis sumber dan SqlSink ditentukan sebagai jenis sink. Untuk daftar lengkap penyimpanan data yang didukung oleh aktivitas salin sebagai sumber dan sink, lihat penyimpanan data yang didukung. Untuk mempelajari cara menggunakan penyimpanan data tertentu yang didukung sebagai sumber/sink, klik tautan dalam tabel.

      Ganti nilai properti mulai dengan hari ini dan nilai akhir dengan hari berikutnya. Anda hanya dapat menentukan bagian tanggal dan melewati bagian waktu dari waktu tanggal. Misalnya, "2016-02-03", yang setara dengan "2016-02-03T00:00:00Z"

      Waktu mulai dan tanggal selesai harus dalam format ISO. Misalnya: 2016-10-14T16:32:41Z. Waktu akhir bersifat opsional, tetapi kami menggunakannya dalam tutorial ini.

      Jika Anda tidak menentukan nilai untuk properti selesai, itu dihitung "mulai + 48 jam". Untuk menjalankan alur tanpa batas waktu, tentukan 9999-09-09 sebagai nilai untuk properti selesai.

      Dalam contoh sebelumnya, ada 24 potongan data karena setiap potongan data diproduksi per jam.

      Untuk deskripsi properti JSON di definisi alur, lihat artikel membuat alur. Untuk deskripsi properti JSON di definisi aktivitas salin, lihat aktivitas pergerakan data. Untuk deskripsi properti JSON yang didukung oleh BlobSource, lihat artikel konektor Azure Blob. Untuk deskripsi properti JSON yang didukung oleh SqlSink, lihat artikel konektor Azure SQL Database.

Menerbitkan/menyebarkan entitas Data Factory

Dalam langkah ini, Anda menerbitkan entitas Data Factory (layanan tertaut, himpunan data, dan alur) yang Anda buat sebelumnya. Anda juga menentukan nama pabrik data baru yang akan dibuat untuk menahan entitas ini.

  1. Klik kanan proyek di Penjelajah Solusi, dan klik Terbitkan.

  2. Jika Anda melihat kotak dialog Masuk ke akun Microsoft Anda, masukkan info masuk Anda untuk akun yang memiliki langganan Azure, dan klik masuk.

  3. Anda akan melihat kotak dialog berikut:

    Publish dialog box

  4. Di halaman Konfigurasi pabrik data, lakukan langkah-langkah berikut ini:

    1. pilih opsi Buat Data Factory Baru.

    2. Masukkan VSTutorialFactory untuk Nama.

      Penting

      Nama pabrik data Azure harus bersifat unik secara global. Jika Anda menerima kesalahan tentang nama pabrik data saat menerbitkan, ubah nama pabrik data (misalnya, nama AndaVSTutorialFactory) dan coba publikasikan lagi. Lihat topik Data Factory - Aturan Penamaan untuk penamaan aturan untuk artefak Data Factory.

    3. Pilih langganan Azure Anda untuk bidang Langganan.

      Penting

      Jika Anda tidak melihat langganan apa pun, pastikan Anda masuk menggunakan akun yang merupakan admin atau rekan admin langganan.

    4. Pilih grup sumber daya untuk pabrik data yang akan dibuat.

    5. Pilih wilayah untuk pabrik data. Hanya wilayah yang didukung oleh layanan Data Factory yang diperlihatkan dalam daftar drop-down.

    6. Klik Berikutnya untuk beralih ke halaman Terbitkan Item.

      Configure data factory page

  5. Di halaman Terbitkan Item, pastikan bahwa semua entitas Data Factory dipilih, dan klik Berikutnya untuk beralih ke halaman Ringkasan.

    Publish items page

  6. Tinjau ringkasan dan klik Berikutnya untuk memulai proses penyebaran dan melihat Status Penyebaran.

    Publish summary page

  7. Di halaman Status Penyebaran, Anda akan melihat status proses penyebaran. Klik Selesai setelah penyebaran selesai.

    Deployment status page

Perhatikan poin berikut:

  • Jika Anda menerima kesalahan: "Langganan ini tidak terdaftar untuk menggunakan kumpulan nama XML Microsoft.DataFactory", lakukan salah satu hal berikut ini dan coba publikasikan lagi:

    • Di Azure PowerShell, jalankan perintah berikut ini untuk mendaftarkan penyedia Data Factory.
    Register-AzResourceProvider -ProviderNamespace Microsoft.DataFactory

    Anda dapat menjalankan perintah berikut untuk mengonfirmasi bahwa penyedia Data Factory terdaftar.

    Get-AzResourceProvider
    • Masuk menggunakan langganan Azure ke portal Microsoft Azure dan navigasi ke bilah Data Factory (atau) buat pabrik data di portal Microsoft Azure. Tindakan ini secara otomatis mendaftarkan penyedia untuk Anda.

  • Nama pabrik data dapat didaftarkan sebagai nama DNS di masa depan dan karenanya menjadi terlihat secara publik.

Penting

Untuk membuat instans Data Factory, Anda harus menjadi admin/rekan admin langganan Azure

Alur monitor

Navigasi ke halaman beranda untuk pabrik data Anda:

  1. Masuk ke portal Microsoft Azure.
  2. Klik Lebih banyak layanan di menu sebelah kiri, dan klik Pabrik data.

Browse data factories 3. Mulai ketikkan nama pabrik data Anda.

Name of data factory 4. Klik pabrik data Anda di daftar hasil untuk melihat halaman beranda pabrik data Anda.

Data factory home page 5. Ikuti petunjuk dari Pantau himpunan data dan alur untuk memantau alur dan himpunan data yang telah Anda buat dalam tutorial ini. Saat ini, Visual Studio tidak mendukung pemantauan alur Data Factory.

Ringkasan

Dalam tutorial ini, Anda membuat pabrik data Azure untuk menyalin data dari blob Azure ke Azure SQL Database. Anda menggunakan Visual Studio untuk membuat pabrik data, layanan tertaut, himpunan data, dan alur. Berikut adalah langkah-langkah tingkat tinggi yang Anda lakukan dalam tutorial ini:

  1. Membuat pabrik data Azure.
  2. Membuat layanan tertaut:
    1. Layanan tertaut Azure Storage untuk menautkan akun Azure Storage Anda yang menyimpan data input.
    2. Layanan tertaut Azure SQL untuk menautkan database Anda yang menyimpan data output.
  3. Membuat himpunan data, yang menjelaskan data input dan data output untuk alur.
  4. Membuat alur dengan Aktivitas Salin dengan BlobSource sebagai sumber dan SqlSink sebagai sink.

Untuk melihat cara menggunakan Azure HDInsight Hive Activity untuk mengubah data dengan menggunakan kluster Azure HDInsight, lihat Tutorial: Menyusun alur pertama Anda untuk mengubah data menggunakan kluster Hadoop.

Selain itu, Anda dapat merangkai dua aktivitas (menjalankan satu demi satu aktivitas) dengan mengatur himpunan data output dari satu aktivitas sebagai himpunan data input aktivitas lainnya. Untuk informasi selengkapnya, lihat Penjadwalan dan eksekusi di Data Factory.

Menampilkan semua pabrik data di Penjelajah Server

Bagian ini menjelaskan cara menggunakan Penjelajah Server di Visual Studio untuk menampilkan semua pabrik data di langganan Azure Anda dan membuat proyek Visual Studio berdasarkan pabrik data yang sudah ada.

  1. Di Visual Studio, klik Tampilan pada menu, dan klik Penjelajah Server.

  2. Di jendela Penjelajah Server, perluas Azure dan perluas Data Factory. Jika Anda melihat Masuk ke Visual Studio, masukkan akun yang terkait dengan langganan Azure Anda dan klik Lanjutkan. Masukkan kata sandi, dan klik Masuk. Visual Studio mencoba mendapatkan informasi tentang semua pabrik data Azure di langganan Anda. Anda melihat status operasi ini di jendela Daftar Tugas Data Factory.

    Server Explorer

Membuat proyek Visual Studio untuk pabrik data yang sudah ada

  • Klik kanan pabrik data di Penjelajah Server, dan pilih Ekspor Data Factory ke Proyek Baru untuk membuat proyek Visual Studio berdasarkan pabrik data yang sudah ada.

    Export data factory to a VS project

Memperbarui alat Data Factory untuk Visual Studio

Untuk memperbarui alat Azure Data Factory untuk Visual Studio, lakukan langkah-langkah berikut:

  1. Klik Alat pada menu dan pilih Ekstensi dan Pembaruan.
  2. Pilih Pembaruan di panel kiri lalu pilih Galeri Visual Studio.
  3. Pilih alat Azure Data Factory untuk Visual Studio dan klik Perbarui. Jika Anda tidak melihat entri ini, Anda sudah memiliki versi terbaru alat.

Gunakan file konfigurasi

Anda dapat menggunakan file konfigurasi di Visual Studio untuk mengonfigurasi properti untuk layanan/tabel/alur yang ditautkan secara berbeda untuk setiap lingkungan.

Pertimbangkan definisi JSON berikut untuk layanan tertaut Azure Storage. Untuk menentukan connectionString dengan nilai yang berbeda untuk nama akun dan accountkey berdasarkan lingkungan (Dev/Test/Production) di mana Anda menyebarkan entitas Data Factory. Anda dapat mencapai perilaku ini dengan menggunakan file konfigurasi terpisah untuk setiap lingkungan.

{
    "name": "StorageLinkedService",
    "properties": {
        "type": "AzureStorage",
        "description": "",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        }
    }
}

Menambahkan file konfigurasi

Tambahkan file konfigurasi untuk setiap lingkungan dengan melakukan langkah-langkah berikut:

  1. Klik kanan proyek Data Factory di solusi Visual Studio Anda, arahkan ke Tambahkan, dan klik Item baru.

  2. Pilih Konfigurasi dari daftar templat yang terpasang di sebelah kiri, pilih File Konfigurasi, masukkan nama untuk file konfigurasi, dan klik Tambahkan.

    Add configuration file

  3. Tambahkan parameter konfigurasi dan nilainya dalam format berikut:

{
    "$schema": "http://datafactories.schema.management.azure.com/vsschemas/V1/Microsoft.DataFactory.Config.json",
    "AzureStorageLinkedService1": [
        {
            "name": "$.properties.typeProperties.connectionString",
            "value": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        }
    ],
    "AzureSqlLinkedService1": [
        {
            "name": "$.properties.typeProperties.connectionString",
            "value":  "Server=tcp:<logical SQL server name>.database.windows.net,1433;Database=<Azure SQL datbase>;User ID=<Username>;Password=<Password>;Trusted_Connection=False;Encrypt=True;Connection Timeout=30"
        }
    ]
}
  ```

  This example configures connectionString property of an Azure Storage linked service and an Azure SQL linked service. Notice that the syntax for specifying name is [JsonPath](https://goessner.net/articles/JsonPath/).   

  If JSON has a property that has an array of values as shown in the following code:  

```json
  "structure": [
        {
            "name": "FirstName",
          "type": "String"
        },
        {
          "name": "LastName",
          "type": "String"
      }
  ],
  ```

  Configure properties as shown in the following configuration file (use zero-based indexing):

```json
  {
      "name": "$.properties.structure[0].name",
      "value": "FirstName"
  }
  {
      "name": "$.properties.structure[0].type",
      "value": "String"
  }
  {
      "name": "$.properties.structure[1].name",
      "value": "LastName"
  }
  {
      "name": "$.properties.structure[1].type",
      "value": "String"
  }
  ```

### Property names with spaces
If a property name has spaces in it, use square brackets as shown in the following example (Database server name):

```json
{
   "name": "$.properties.activities[1].typeProperties.webServiceParameters.['Database server name']",
   "value": "MyAsqlServer.database.windows.net"
}

Menyebar solusi menggunakan konfigurasi

Saat Anda menerbitkan entitas Azure Data Factory di VS, Anda dapat menentukan konfigurasi yang Anda ingin gunakan untuk operasi penerbitan tersebut.

Untuk menerbitkan entitas dalam proyek Azure Data Factory menggunakan file konfigurasi:

  1. Klik kanan proyek Data Factory dan klik Terbitkan untuk melihat kotak dialog Terbitkan Item.

  2. Pilih pabrik data yang sudah ada atau tentukan nilai untuk membuat pabrik data pada halaman Konfigurasi pabrik data, dan klik Berikutnya.

  3. Pada halaman Terbitkan Item: Anda akan melihat daftar menurun dengan konfigurasi yang tersedia untuk bidang Pilih Konfigurasi Penyebaran.

    Select config file

  4. Pilih file konfigurasi yang ingin Anda gunakan dan klik Berikutnya.

  5. Konfirmasikan bahwa Anda melihat nama file JSON di halaman Ringkasan dan klik Berikutnya.

  6. Klik Selesai setelah operasi penyebaran selesai.

Saat Anda menyebarkan, nilai dari file konfigurasi digunakan untuk mengatur nilai untuk properti dalam file JSON sebelum entitas diterapkan ke layanan Azure Data Factory.

Menggunakan Azure Key Vault

Tidak disarankan dan sering bertentangan dengan kebijakan keamanan untuk menerapkan data sensitif seperti string koneksi ke repositori kode. Lihat sampel ADF Secure Publish di GitHub untuk mempelajari tentang menyimpan informasi sensitif di Azure Key Vault dan menggunakannya saat menerbitkan entitas Data Factory. Ekstensi Secure Publish untuk Visual Studio memungkinkan rahasia disimpan di Key Vault dan hanya referensi ke mereka yang ditentukan dalam konfigurasi penyebaran layanan/ yang ditautkan. Referensi ini diselesaikan saat Anda menerbitkan entitas Data Factory ke Azure. File-file ini kemudian bisa melakukan penerapan untuk mencari repositori tanpa mengekspos rahasia apa pun.

Langkah berikutnya

Dalam tutorial ini, Anda menggunakan penyimpanan blob Azure sebagai penyimpanan data sumber dan Azure SQL Database sebagai penyimpanan data tujuan dalam operasi salinan. Tabel berikut ini menyediakan daftar penyimpanan data yang didukung sebagai sumber dan tujuan oleh aktivitas salin:

Kategori Penyimpanan data Didukung sebagai sumber Didukung sebagai sink
Azure Azure Blob Storage ✓ ✓
  Azure Cosmos DB (SQL API) ✓ ✓
  Azure Data Lake Storage Gen1 ✓ ✓
  Azure SQL Database ✓ ✓
  Azure Synapse Analytics ✓ ✓
  Indeks Azure Cognitive Search ✓
  Penyimpanan Tabel Azure ✓ ✓
Database Amazon Redshift ✓
  DB2* ✓
  MySQL* ✓
  Oracle* ✓ ✓
  PostgreSQL* ✓
  SAP Business Warehouse* ✓
  SAP HANA* ✓
  SQL Server* ✓ ✓
  Sybase* ✓
  Teradata* ✓
NoSQL Cassandra* ✓
  MongoDB* ✓
File Amazon S3 ✓
  Sistem File* ✓ ✓
  FTP ✓
  HDFS* ✓
  SFTP ✓
Lainnya HTTP Generik ✓
  OData Generik ✓
  ODBC Generik* ✓
  Salesforce ✓
  Tabel Web (tabel dari HTML) ✓

Untuk mempelajari tentang cara menyalin data ke/dari penyimpanan data, klik tautan untuk penyimpanan data dalam tabel.