Data Management Gateway

Catatan

Artikel ini berlaku untuk versi 1 dari Azure Data Factory. Jika Anda menggunakan versi layanan Data Factory saat ini, lihat runtime integrasi yang dihost sendiri di.

Catatan

Data Management Gateway kini telah berganti nama menjadi runtime integrasi yang dihost sendiri.

Data Management Gateway adalah agen klien yang harus Anda instal di lingkungan lokal Anda untuk menyalin data antara penyimpanan data cloud dan lokal. Penyimpanan data di tempat yang didukung oleh Data Factory dicantumkan di bagian Sumber data yang didukung.

Artikel ini melengkapi detail di artikel Pindahkan data antara penyimpanan data lokal dan cloud. Di penelusuran, Anda membuat alur yang menggunakan gateway untuk memindahkan data dari database SQL Server ke Azure blob. Artikel ini menyediakan informasi mendalam terperinci tentang data management gateway.

Anda bisa menskalakan data management gateway dengan mengaitkan beberapa mesin lokal dengan gateway. Anda dapat meningkatkan skala dengan meningkatkan jumlah pekerjaan pergerakan data yang dapat berjalan bersamaan pada simpul. Fitur ini juga tersedia untuk gateway logis dengan satu simpul. Lihat Menskalakan data management gateway di artikel Azure Data Factory untuk detailnya.

Catatan

Saat ini, gateway hanya mendukung aktivitas salin dan aktivitas prosedur yang disimpan di Data Factory. Tidak dimungkinkan untuk menggunakan Data Management Gateway dari aktivitas kustom untuk mengakses sumber data lokal.

Catatan

Artikel ini menggunakan modul Azure Az PowerShell, yang merupakan modul PowerShell yang direkomendasikan untuk berinteraksi dengan Azure. Untuk mulai menggunakan modul Az PowerShell, lihat Menginstal Azure PowerShell. Untuk mempelajari cara bermigrasi ke modul Az PowerShell, lihat Memigrasikan Azure PowerShell dari AzureRM ke Az.

Gambaran Umum

Kapabilitas Data Management Gateway

Data Management Gateway menyediakan kapabilitas berikut ini:

• Memodelkan sumber data lokal dan sumber data cloud dalam data factory yang sama dan memindahkan data.
• Memiliki satu panel kaca untuk pemantauan dan manajemen dengan visibilitas ke status gateway dari halaman Data Factory.
• Kelola akses ke sumber data lokal dengan aman.
  • Tidak ada perubahan yang diperlukan untuk firewall perusahaan. Gateway hanya membuat koneksi berbasis HTTP keluar untuk membuka internet.
  • Enkripsi kredensial untuk penyimpanan data lokal Anda dengan sertifikat Anda.
• Memindahkan data secara efisien - data ditransfer secara paralel, tahan terhadap masalah pemutusan jaringan dengan logika percobaan kembali secara otomatis.

Alur perintah dan aliran data

Saat Anda menggunakan aktivitas salin untuk menyalin data antara lokal dan cloud, aktivitas menggunakan gateway untuk mentransfer data dari sumber data lokal ke cloud dan sebaliknya.

Berikut adalah alur data tingkat tinggi dan ringkasan langkah-langkah penyalinan dengan gateway data:

1. Pengembang data membuat gateway untuk Azure Data Factory menggunakan portal Microsoft Azure atau PowerShell Cmdlet.
2. Pengembang data membuat layanan tertaut untuk penyimpanan data lokal dengan menentukan gateway. Sebagai bagian dari menyiapkan layanan tertaut, pengembang data menggunakan aplikasi Pengaturan Kredensial untuk menentukan jenis dan kredensial autentikasi. Dialog aplikasi Pengaturan Kredensial berkomunikasi dengan penyimpanan data untuk menguji koneksi dan gateway untuk menyimpan kredensial.
3. Gateway mengenkripsi kredensial dengan sertifikat yang terkait dengan gateway (disediakan oleh pengembang data), sebelum menyimpan kredensial di cloud.
4. Layanan Data Factory berkomunikasi dengan gateway untuk penjadwalan & pengelolaan pekerjaan melalui saluran kontrol yang menggunakan antrean bus layanan Azure bersama. Ketika pekerjaan aktivitas perlu dijalankan, Data Factory mengantre permintaan bersama dengan info masuk apa pun. Gateway memulai pekerjaan setelah polling antrian.
5. Gateway mendekripsi kredensial dengan sertifikat yang sama lalu menyambungkan ke penyimpanan data lokal dengan tipe autentikasi dan kredensial yang tepat.
6. Gateway menyalin data dari penyimpanan lokal ke penyimpanan cloud, atau sebaliknya bergantung pada bagaimana Aktivitas Salin dikonfigurasi dalam alur data. Untuk langkah ini, gateway langsung berkomunikasi dengan layanan penyimpanan berbasis cloud seperti Azure Blob Storage melalui saluran aman (HTTPS).

Pertimbangan untuk menggunakan gateway

• Satu contoh Data Management Gateway dapat digunakan untuk beberapa sumber data lokal. Namun, satu instans gateway hanya terkait dengan satu Azure data factory dan tidak dapat dibagikan dengan data factory lain.
• Anda hanya dapat memiliki satu contoh Data Management Gateway yang diinstal pada satu mesin. Misalkan, Anda memiliki dua data factory yang perlu mengakses sumber data lokal, Anda perlu menginstal gateway di dua komputer lokal. Dengan kata lain, gateway terikat dengan data factory tertentu
• Gateway tidak perlu berada di mesin yang sama dengan sumber data. Namun, meminta gateway lebih dekat ke sumber data mengurangi waktu bagi gateway untuk tersambung ke sumber data. Kami menyarankan agar Anda menginstal gateway di komputer yang berbeda dari yang menjadi host sumber data lokal. Ketika gateway dan sumber data berada di mesin yang berbeda, gateway tidak bersaing untuk sumber daya dengan sumber data.
• Anda dapat memiliki beberapa gateway di mesin yang berbeda yang tersambung ke sumber data lokal yang sama. Misalnya, Anda mungkin memiliki dua gateway yang melayani dua data factory tetapi sumber data lokal yang sama terdaftar di kedua data factory.
• Jika Anda sudah memiliki gateway yang terinstal di komputer Anda yang menayangkan skenario Power BI, instal gateway terpisah untuk Azure Data Factory di mesin lain.
• Gateway harus digunakan bahkan saat Anda menggunakan ExpressRoute.
• Perlakukan sumber data Anda sebagai sumber data lokal (yang ada di balik firewall) bahkan saat Anda menggunakan ExpressRoute. Gunakan gateway untuk membangun konektivitas antara layanan dan sumber data.
• Anda harus menggunakan gateway meskipun penyimpanan data berada di cloud pada Azure IaaS VM.

Penginstalan

Prasyarat

• Versi Sistem Operasi yang didukung adalah Windows 7, Windows 8/8.1, Windows 10, Windows Server 2008 R2, Windows Server 2012, Windows Server 2012 R2. Instalasi Data Management Gateway pada pengontrol domain saat ini tidak didukung.
• .NET Framework 4.5.1 atau versi yang lebih baru diperlukan. Jika Anda menginstal gateway di mesin Windows 7, instal .NET Framework 4.5 atau yang lebih baru. Lihat Persyaratan Sistem .NET Framework untuk detailnya.
• Konfigurasi yang disarankan untuk mesin gateway adalah setidaknya 2 GHz, 4 core, RAM 8GB, dan disk 80GB.
• Jika komputer host berhibernasi, gateway tidak akan merespons permintaan data. Oleh karena itu, konfigurasikan paket daya yang sesuai di komputer sebelum menginstal gateway. Jika mesin dikonfigurasi untuk berhibernasi, instalasi gateway akan meminta pesan.
• Anda harus merupakan administrator pada mesin untuk menginstal dan mengonfigurasi Data Management Gateway dengan sukses. Anda bisa menambahkan pengguna tambahan ke Pengguna data management gateway grup Windows lokal. Anggota grup ini dapat menggunakan alat Data Management Gateway Configuration Manager untuk mengonfigurasi gateway.

Ketika aktivitas salin berjalan terjadi pada frekuensi tertentu, penggunaan sumber daya (CPU, memori) pada mesin juga mengikuti pola yang sama dengan waktu puncak dan menganggur. Pemanfaatan sumber daya juga sangat tergantung pada jumlah data yang dipindahkan. Ketika beberapa pekerjaan penyalinan sedang berlangsung, Anda melihat penggunaan sumber daya naik selama waktu sibuk.

Opsi penginstalan

Data Management Gateway bisa diinstal dengan cara berikut:

• Dengan mengunduh paket penyetelan MSI dari Pusat Unduhan Microsoft. MSI juga dapat digunakan untuk memutakhirkan Data Management Gateway yang ada ke versi terbaru, dengan semua pengaturan dipertahankan.
• Dengan mengeklik tautan Unduh dan instal gateway data di bawah PENGATURAN MANUAL atau Instal langsung di komputer ini di bawah PENGATURAN EKSPRES. Lihat Memindahkan data antara artikel lokal dan cloud untuk instruksi langkah demi langkah tentang menggunakan penyetelan ekspres. Langkah manual membawa Anda ke pusat unduhan. Instruksi untuk mengunduh dan menginstal gateway dari pusat unduhan ada di bagian berikutnya.

Praktik terbaik instalasi:

1. Konfigurasikan rencana daya di komputer host untuk gateway sehingga komputer tidak memasuki mode hibernasi. Jika komputer host berhibernasi, gateway tidak akan merespons permintaan data.
2. Cadangkan sertifikat yang terkait dengan gateway.

Menginstal gateway dari pusat unduhan

1. Navigasi ke halaman unduhan Microsoft Data Management Gateway.
2. Klik Unduh, pilih versi 64-bit (32-bit tidak lagi didukung), dan klik Berikutnya.
3. Jalankan MSI secara langsung atau simpan ke hard disk Anda dan jalankan.
4. Pada halaman Selamat Datang, pilih bahasa klik Berikutnya.
5. Terima End-User License Agreement dan klik Berikutnya.
6. Pilih folder untuk menginstal gateway dan klik Berikutnya.
7. Pada halaman Siap untuk menginstal, klik Instal.
8. Pilih Selesai untuk menyelesaikan penginstalan.
9. Dapatkan kunci dari portal Microsoft Azure. Lihat bagian berikutnya untuk instruksi langkah demi langkah.
10. Pada halaman Daftarkan gateway dari Data Management Gateway Configuration Manager yang berjalan di komputer Anda, lakukan langkah-langkah berikut:
    1. Tempelkan tombol dalam teks.
    2. Secara opsional, klik Perlihatkan tombol gateway untuk melihat teks kunci.
    3. Klik Daftar.

Daftarkan gateway menggunakan kunci

Jika Anda belum membuat gateway logika di portal

Untuk membuat gateway di portal dan mendapatkan kunci dari laman Konfigurasi, Ikuti langkah-langkah dari panduan dalam artikel Pindahkan data antara lokal dan cloud.

Jika Anda sudah membuat gateway logika di portal

1. Di portal Microsoft Azure, navigasi ke halaman Data Factory dan klik petak Layanan Tertaut.

   

2. Di halaman Layanan Tertaut, pilih gateway logika yang Anda buat di portal.

   

3. Di halaman Gateway Data, klik Unduh dan instal gateway data.

   

4. Di halaman Konfigurasi, klik Buat Ulang kunci. Klik Ya pada pesan peringatan setelah membacanya dengan hati-hati.

   

5. Klik tombol Salin di samping tombol. Kunci disalin ke clipboard.

   

Ikon/pemberitahuan tray sistem

Gambar berikut memperlihatkan beberapa ikon tray yang Anda lihat.

Jika Anda memindahkan kursor ke atas ikon tray sistem/pesan pemberitahuan, Anda akan melihat detail tentang status operasi gateway/update di jendela popup.

Ports dan firewall

Ada dua firewall yang perlu Anda pertimbangkan: firewall perusahaan yang berjalan pada router pusat organisasi, dan firewall Windows dikonfigurasi sebagai daemon pada mesin lokal tempat gateway diinstal.

Di tingkat firewall perusahaan, Anda perlu mengonfigurasikan domain dan port keluar berikut:

Nama domain	Port	Deskripsi
*.servicebus.windows.net	443	Digunakan untuk komunikasi dengan backend Data Movement Service
*.core.windows.net	443	Digunakan untuk salinan terpentaskan menggunakan Azure Blob (jika dikonfigurasi)
*.frontend.clouddatahub.net	443	Digunakan untuk komunikasi dengan backend Data Movement Service
*.servicebus.windows.net	9350-9354, 5671	Relai bus layanan opsional melalui TCP yang digunakan oleh Wizard Salin

Pada tingkat firewall Windows atau tingkat mesin, port keluar ini biasanya diaktifkan. Jika tidak, Anda dapat mengonfigurasi domain dan port yang sesuai pada mesin gateway.

Catatan

1. Berdasarkan sumber dan sink Anda, Anda mungkin perlu memperbolehkan domain tambahan dan port keluar di firewall perusahaan atau firewall Windows Anda.
2. Untuk beberapa Database Cloud (Misalnya: Azure SQL Database, Azure Data Lake,dll.), Anda mungkin perlu mengizinkan alamat IP mesin Gateway pada konfigurasi firewall mereka.

Salin data dari penyimpanan data sumber ke penyimpanan data sink

Pastikan bahwa aturan firewall diaktifkan dengan benar pada firewall perusahaan, firewall Windows pada mesin gateway, dan penyimpanan data itu sendiri. Mengaktifkan aturan ini memungkinkan gateway untuk terhubung ke sumber dan tenggelam dengan sukses. Aktifkan aturan untuk setiap penyimpanan data yang terlibat dalam operasi salin.

Misalnya, untuk menyalin dari penyimpanan data lokal ke sink Microsoft Azure SQL Database atau sink Azure Synapse Analytics, lakukan langkah-langkah berikut:

• Perbolehkan komunikasi TCP keluar pada port 1433 untuk firewall Windows dan firewall perusahaan.
• Konfigurasikan pengaturan firewall server SQL logis untuk menambahkan alamat IP mesin gateway ke daftar alamat IP yang diizinkan.

Catatan

Jika firewall Anda tidak memperbolehkan port keluar 1433, Gateway tidak dapat mengakses Azure SQL secara langsung. Dalam hal ini, Anda dapat menggunakan Salinan Terpentaskan ke SQL Database/SQL Managed Instance/SQL Azure DW. Dalam skenario ini, Anda hanya memerlukan HTTPS (port 443) untuk pergerakan data.

Pertimbangan server proksi

Jika lingkungan jaringan perusahaan Anda menggunakan server proksi untuk mengakses internet, konfigurasikan Data Management Gateway untuk menggunakan pengaturan proksi yang sesuai. Anda dapat mengatur proksi selama fase pendaftaran awal.

Gateway menggunakan server proksi untuk menyambungkan ke layanan cloud. Klik Ubah tautan selama pengaturan awal. Anda akan melihat dialog pengaturan proksi.

Ada tiga opsi konfigurasi:

• Jangan gunakan proksi: Gateway tidak secara eksplisit menggunakan proksi apa pun untuk menyambungkan ke layanan cloud.
• Gunakan proksi sistem: Gateway menggunakan setelan proksi yang dikonfigurasi di diahost.exe.config dan diawp.exe.config. Jika tidak ada proksi yang dikonfigurasi di diahost.exe.config dan diawp.exe.config, gateway terhubung ke layanan cloud secara langsung tanpa melalui proksi.
• Gunakan proksi kustom: Konfigurasikan pengaturan proksi HTTP untuk digunakan untuk gateway, alih-alih menggunakan konfigurasi diahost.exe.config dan diawp.exe.config. Alamat dan Port diperlukan. Nama Pengguna dan Kata Sandi bersifat opsional tergantung pada pengaturan autentikasi proksi Anda. Semua pengaturan dienkripsi dengan sertifikat kredensial gateway dan disimpan secara lokal di mesin host gateway.

Layanan Host data management gateway dimulai ulang secara otomatis setelah Anda menyimpan pengaturan proksi yang diperbarui.

Setelah gateway berhasil didaftarkan, jika Anda ingin menampilkan atau memperbarui pengaturan proksi, gunakan Data Management Gateway Configuration Manager.

1. Luncurkan Data Management Gateway Configuration Manager.
2. Beralih ke tab Pengaturan.
3. Klik Ubah tautan di bagian Proksi HTTP untuk meluncurkan dialog Atur Proksi HTTP.
4. Setelah Anda mengeklik tombol Berikutnya, Anda akan melihat dialog peringatan yang meminta izin Anda untuk menyimpan pengaturan proksi dan memulai ulang Layanan Host Gateway.

Anda dapat melihat dan memperbarui proksi HTTP dengan menggunakan alat Microsoft Endpoint Configuration Manager.

Catatan

Jika Anda menyiapkan server proksi dengan autentikasi NTLM, Gateway Host Service berjalan di bawah akun domain. Jika nanti Anda mengubah kata sandi untuk akun domain, ingatlah untuk memperbarui pengaturan konfigurasi untuk layanan dan menghidupkan ulang layanan. Karena persyaratan ini, kami menyarankan agar Anda mengakses server proksi dengan menggunakan akun domain khusus yang tidak mengharuskan Anda untuk sering memperbarui kata sandi.

Mengonfigurasikan pengaturan proksi

Jika Anda memilih Gunakan pengaturan proksi sistem untuk proksi HTTP, gateway menggunakan pengaturan proksi di diahost.exe.config dan diawp.exe.config. Jika tidak ada proksi yang ditentukan diahost.exe.config dan diawp.exe.config, gateway akan terhubung ke layanan cloud secara langsung tanpa melalui proksi. Prosedur berikut ini menyediakan instruksi untuk memperbarui file diahost.exe.config anda.

1. Di File Explorer, buat salinan aman dari C:\Program Files\Microsoft Integration Runtime\5.0\Shared\diahost.exe.config untuk mencadangkan file asli.

2. Luncurkan Notepad.exe yang berjalan sebagai administrator, dan buka file teks C:\Program Files\Microsoft Integration Runtime\5.0\Shared\diahost.exe.config. Anda menemukan tag default untuk system.net seperti yang ditunjukkan pada kode berikut:

   <system.net>
       <defaultProxy useDefaultCredentials="true" />
   </system.net>
   

   Anda kemudian dapat menambahkan detail server proksi seperti yang ditunjukkan pada contoh berikut:

   <system.net>
       <defaultProxy enabled="true">
           <proxy bypassonlocal="true" proxyaddress="http://proxy.domain.org:8888/" />
       </defaultProxy>
   </system.net>
   

   Properti tambahan diperbolehkan di dalam tag proksi untuk menentukan pengaturan yang diperlukan seperti scriptLocation. Lihat elemen proksi (Pengaturan Jaringan) pada sintaks.

   <proxy autoDetect="true|false|unspecified" bypassonlocal="true|false|unspecified" proxyaddress="uriString" scriptLocation="uriString" usesystemdefault="true|false|unspecified "/>
   

3. Simpan file konfigurasi ke lokasi asli, lalu mulai ulang layanan Data Management Gateway Host, yang mengambil perubahan. Untuk menghidupkan ulang layanan: gunakan applet layanan dari panel kontrol, atau dari Data Management Gateway Configuration Manager> klik tombol Hentikan Layanan, lalu klik Mulai Layanan . Jika layanan tidak dimulai, kemungkinan sintaks tag XML yang salah telah ditambahkan ke dalam file konfigurasi aplikasi yang diedit.

Penting

Jangan lupa untuk memperbarui keduanya diahost.exe.config dan diawp.exe.config.

Selain poin-poin ini, Anda juga perlu memastikan Microsoft Azure berada dalam daftar yang diizinkan perusahaan Anda. Daftar alamat IP Microsoft Azure yang valid dapat diunduh dari Pusat Unduhan Microsoft.

Kemungkinan gejala untuk firewall dan masalah terkait server proksi

Jika Anda mengalami kesalahan yang mirip dengan yang berikut ini, kemungkinan karena konfigurasi firewall atau server proksi yang tidak tepat, yang memblokir gateway agar tidak terhubung ke Data Factory untuk mengautentikasi dirinya sendiri. Untuk memastikan bahwa firewall dan server proksi Anda dikonfigurasikan dengan benar, lihat bagian sebelumnya.

1. Ketika Anda mencoba mendaftarkan gateway, Anda menerima kesalahan berikut: "Gagal mendaftarkan kunci gateway. Sebelum mencoba mendaftarkan kunci gateway lagi, konfirmasikan bahwa Data Management Gateway dalam keadaan tersambung dan Layanan Host Data Management Gateway Dimulai."
2. Saat membuka Configuration Manager, Anda melihat status sebagai "Terputus" atau "Menyambung". Saat melihat log peristiwa Windows, di bawah "Pemantau Peristiwa" > "Log Aplikasi dan Layanan" > "Gateway Pengelolaan Data", Anda melihat pesan kesalahan seperti kesalahan berikut: Unable to connect to the remote serverA component of Data Management Gateway has become unresponsive and restarts automatically. Component name: Gateway.

Buka port 8050 untuk enkripsi kredensial

Aplikasi Pengaturan Kredensial menggunakan port masuk 8050 untuk menyampaikan kredensial ke gateway saat Anda menyiapkan layanan tertaut di tempat di portal Microsoft Azure. Selama pengaturan gateway, secara default, instalasi gateway membukanya di mesin gateway.

Jika Anda menggunakan firewall pihak ketiga, Anda dapat membuka port 8050 secara manual. Jika Anda mengalami masalah firewall selama pengaturan gateway, Anda bisa mencoba menggunakan perintah berikut untuk menginstal gateway tanpa mengonfigurasi firewall.

msiexec /q /i DataManagementGateway.msi NOFIREWALL=1

Jika Anda memilih untuk tidak membuka port 8050 pada mesin gateway, gunakan mekanisme selain menggunakan aplikasi Pengaturan Kredensial untuk mengonfigurasi kredensial penyimpanan data. Misalnya, Anda dapat menggunakan cmdlet New-AzDataFactoryEncryptValue PowerShell. Lihat bagian Pengaturan Kredensial dan Keamanan tentang bagaimana kredensial penyimpanan data bisa diatur.

Pembaruan

Secara default, Data Management Gateway diperbarui secara otomatis saat versi gateway yang lebih baru tersedia. Gateway tidak diperbarui sampai semua tugas terjadwal selesai. Tidak ada tugas lebih lanjut yang diproses oleh gateway sampai operasi pembaruan selesai. Jika pembaruan gagal, gateway akan kembali ke versi lama.

Anda akan melihat waktu pembaruan terjadwal di tempat-tempat berikut:

• Halaman properti gateway di portal Microsoft Azure.
• Halaman beranda Data Management Gateway Configuration Manager
• Pesan pemberitahuan tray sistem.

Tab Beranda Data Management Gateway Configuration Manager menampilkan jadwal pembaruan dan terakhir kali gateway diinstal/diperbarui.

Anda dapat segera menginstal pembaruan atau menunggu gateway diperbarui secara otomatis pada waktu yang dijadwalkan. Misalnya, gambar berikut menunjukkan pesan pemberitahuan yang diperlihatkan di Microsoft Endpoint Configuration Manager Gateway bersama dengan tombol Perbarui yang bisa Anda klik untuk segera menginstalnya.

Pesan pemberitahuan di tray sistem akan terlihat seperti yang ditunjukkan pada gambar berikut:

Anda melihat status operasi pembaruan (manual atau otomatis) di tray sistem. Saat Anda meluncurkan Gateway Configuration Manager lain kali, Anda akan melihat pesan di bilah pemberitahuan bahwa gateway telah diperbarui bersama dengan tautan ke topik baru.

Untuk menonaktifkan/mengaktifkan fitur pembaruan otomatis

Anda dapat menonaktifkan/mengaktifkan fitur pembaruan otomatis dengan melakukan langkah-langkah berikut:

[Untuk gateway simpul tunggal]

1. Luncurkan Windows PowerShell di mesin gateway.

2. Beralih ke folder C:\\Program Files\Microsoft Integration Runtime\5.0\PowerShellScript\.

3. Jalankan perintah berikut untuk NONAKTIF fitur pembaruan otomatis (nonaktifkan).

   .\IntegrationRuntimeAutoUpdateToggle.ps1 -off
   

4. Untuk mengaktifkannya kembali:

   .\IntegrationRuntimeAutoUpdateToggle.ps1 -on
   

Untuk gateway multi-simpul yang sangat tersedia dan dapat diskalakan

1. Luncurkan Windows PowerShell di mesin gateway.

2. Beralih ke folder C:\\Program Files\Microsoft Integration Runtime\5.0\PowerShellScript\.

3. Jalankan perintah berikut untuk NONAKTIF fitur pembaruan otomatis (nonaktifkan).

   Untuk gateway dengan fitur ketersediaan tinggi, diperlukan parameter AuthKey tambahan.

   .\IntegrationRuntimeAutoUpdateToggle.ps1 -off -AuthKey <your auth key>
   

4. Untuk mengaktifkannya kembali:

   .\IntegrationRuntimeAutoUpdateToggle.ps1 -on -AuthKey <your auth key>
   

Manajer Konfigurasi

Setelah menginstal gateway, Anda bisa meluncurkan Data Management Gateway Configuration Manager dengan salah satu cara berikut:

1. Di jendela Pencarian, ketik Data Management Gateway untuk mengakses utilitas ini.
2. Jalankan ConfigManager.exe yang dapat dijalankan di folder: C:\Program Files\Microsoft Integration Runtime\5.0\Shared\.

Halaman Beranda

Halaman Beranda memungkinkan Anda melakukan tindakan berikut:

• Tampilkan status gateway (tersambung ke layanan cloud, dll.).
• Daftar menggunakan kunci dari portal.
• Hentikan dan mulai layanan Integration Runtime di komputer gateway.
• Jadwalkan pembaruan pada waktu tertentu dalam sehari.
• Lihat tanggal gateway terakhir diperbarui.

Halaman pengaturan

Halaman Pengaturan memungkinkan Anda melakukan tindakan berikut:

• Menampilkan, mengubah, dan mengekspor sertifikat yang digunakan oleh gateway. Sertifikat ini digunakan untuk mengenkripsi kredensial sumber data.
• Ubah port HTTPS untuk titik akhir. Gateway membuka port untuk mengatur kredensial sumber data.
• Status titik akhir
• Lihat sertifikat SSL digunakan untuk komunikasi TLS/SSL antara portal dan gateway untuk mengatur kredensial untuk sumber data.

Akses jarak jauh dari intranet

Anda dapat mengaktifkan/menonaktifkan konektivitas jarak jauh yang hari ini terjadi menggunakan port 8050 (lihat bagian di atas) saat menggunakan aplikasi PowerShell atau Credential Manager untuk mengenkripsi kredensial.

Halaman diagnostik

Halaman Diagnostik memungkinkan Anda melakukan tindakan berikut:

• Aktifkan pembuatan logverbose, tampilkan log di penampil kejadian, dan kirim log ke Microsoft jika terjadi kegagalan.
• Menguji koneksi ke sumber data.

Halaman bantuan

Halaman baru menampilkan informasi berikut:

• Deskripsi singkat gateway
• Nomor Versi
• Tautan ke bantuan online, pernyataan privasi, dan perjanjian lisensi.

Memantau gateway di portal

Di portal Azure, Anda dapat melihat snapshot pemanfaatan sumber daya yang hampir real-time (CPU, memori, jaringan (masuk/keluar), dll.) pada mesin gateway.

1. Di portal Microsoft Azure, navigasi ke halaman beranda untuk data factory Anda, dan klik Petak Layanan tertaut.

   

2. Pilih gateway di halaman Layanan tertaut.

   

3. Di halaman Gateway, Anda bisa melihat memori dan penggunaan CPU gateway.

   

4. Fungsikan pengaturan Tingkat Lanjut untuk melihat detil lebih lanjut seperti penggunaan jaringan.

   

Tabel berikut ini memberikan deskripsi kolom di dalam daftar Simpul Gateway:

Properti Pemantauan	Deskripsi
Nama	Nama gateway logis dan simpul yang terkait dengan gateway. Simpul adalah mesin Windows lokal yang memiliki gateway yang diinstal di atasnya. Untuk informasi tentang memiliki lebih dari satu simpul (hingga empat simpul) dalam satu gateway logis, lihat Data Management Gateway - ketersediaan tinggi dan skalabilitas.
Status	Status gateway logis dan simpul gateway. Contoh: Online/Offline/Terbatas/dll. Untuk informasi tentang status ini, lihat bagian Status gateway.
Versi	Menunjukkan versi gateway logis dan setiap simpul gateway. Versi gateway logis ditentukan berdasarkan versi sebagian besar simpul dalam grup. Jika ada simpul dengan versi yang berbeda dalam penyiapan gateway logis, hanya simpul dengan nomor versi yang sama dengan gateway logis yang dapat berfungsi dengan benar. Simpul lain berada dalam mode terbatas dan perlu diperbarui secara manual (hanya jika pembaruan otomatis gagal).
Memori yang tersedia	Memori yang tersedia di simpul gateway. Nilai ini adalah rekam jepret yang mendekati real time.
Pemanfaatan CPU	Pemanfaatan CPU simpul gateway. Nilai ini adalah rekam jepret yang mendekati real time.
Jaringan (Masuk/Keluar)	Pemanfaatan jaringan simpul gateway. Nilai ini adalah rekam jepret yang mendekati real time.
Pekerjaan Serentak (Berjalan/Batas)	Jumlah pekerjaan atau tugas yang berjalan di setiap simpul. Nilai ini adalah rekam jepret yang mendekati real time. Batas menandakan jumlah pekerjaan serentak maksimum untuk setiap simpul. Nilai ini ditentukan berdasarkan ukuran komputer. Anda dapat meningkatkan batas untuk meningkatkan skala eksekusi tugas serentak dalam skenario lanjutan, saat CPU/memori/jaringan kurang dimanfaatkan, tetapi waktu aktivitas habis. Kemampuan ini juga tersedia dengan gateway satu simpul (meskipun fitur skalabilitas dan ketersediaan tidak diaktifkan).
Peran	Ada dua jenis peran dalam gateway multi-simpul - Dispatcher dan pekerja. Semua simpul adalah pekerja, yang berarti semua simpul dapat digunakan untuk menjalankan pekerjaan. Hanya ada satu simpul dispatcher yang digunakan untuk mengambil tugas/pekerjaan dari layanan cloud dan mengirimkannya ke berbagai simpul pekerja (termasuk simpul dispatcher itu sendiri).

Di halaman ini, Anda akan melihat beberapa pengaturan yang lebih masuk akal ketika ada dua simpul atau lebih (skenario skala keluar) di gateway. Lihat Data Management Gateway - ketersediaan dan skalabilitas tinggi untuk detail tentang menyiapkan gateway multi-simpul.

Status gateway

Tabel berikut ini memaparkan kemungkinan status simpul gateway:

Status	Komentar/Skenario
Online	Simpul tersambung ke layanan Data Factory.
Offline	Simpul sedang offline.
Meningkatkan	Simpul sedang diperbarui otomatis.
Terbatas	Karena masalah Konektivitas. Mungkin karena masalah port HTTP 8050, masalah konektivitas bus layanan, atau masalah sinkronisasi kredensial.
Tidak aktif	Simpul berada dalam konfigurasi yang berbeda dengan konfigurasi simpul mayoritas lainnya. Sebuah simpul bisa tidak aktif ketika tidak dapat terhubung ke simpul lain.

Tabel berikut ini memaparkan kemungkinan status gateway logis. Status gateway bergantung pada status simpul gateway.

Status	Komentar
Perlu Pendaftaran	Belum ada simpul yang terdaftar ke gateway logis ini
Online	Simpul Gateway sedang online
Offline	Tidak ada simpul yang berada dalam status online.
Terbatas	Tidak semua simpul di gateway ini berada dalam status sehat. Status ini adalah peringatan bahwa beberapa simpul mungkin tidak berfungsi! Bisa jadi karena masalah sinkronisasi kredensial pada simpul dispatcher/pekerja.

Meningkatkan gateway

Anda juga dapat mengonfigurasi jumlah pekerjaan pemindahan data serentak yang dapat berjalan pada simpul untuk meningkatkan skala kemampuan pemindahan data antara penyimpanan data lokal dan cloud.

Jika memori yang tersedia dan CPU tidak dimanfaatkan dengan baik, tetapi kapasitas diam adalah 0, Anda harus meningkatkan skala dengan meningkatkan jumlah pekerjaan serentak yang dapat dijalankan di sebuah simpul. Anda mungkin juga ingin meningkatkan skala saat aktivitas kehabisan waktu karena gateway mengalami kelebihan beban. Dalam pengaturan lanjutan simpul gateway, Anda dapat meningkatkan kapasitas maksimum untuk simpul.

Pemecahan masalah gateway

Lihat artikelMemecahkan masalah gateway untuk informasi/tips memecahkan masalah dengan menggunakan Data Management Gateway.

Memindahkan gateway dari satu mesin ke mesin lainnya

Bagian ini menyediakan langkah-langkah untuk memindahkan klien gateway dari satu mesin ke mesin lain.

1. Di portal Microsoft Azure, navigasi ke halaman beranda Data Factory dan klik petak Layanan Tertaut.

   

2. Pilih gateway Anda di bagian GATEWAY DATA dari halaman Layanan Tertaut.

   

3. Di halaman Gateway Data, klik Unduh dan instal gateway data.

   

4. Di halaman Konfigurasi, klik Unduh dan instal gateway data, dan ikuti instruksi untuk menginstal gateway data di mesin.

   

5. Tetap buka Manajer Konfigurasi Data Management Gateway Microsoft.

   

6. Di halaman Konfigurasi di portal, klik Buat ulang kunci pada bilah perintah, dan klik Ya untuk pesan peringatan. Klik tombol salin di samping teks kunci yang menyalin tombol ke clipboard. Gateway pada mesin lama berhenti berfungsi segera setelah Anda membuat ulang kunci.

   

7. Tempelkan kunci ke dalam kotak teks di halaman Daftar Gateway dari Data Management Gateway Configuration Manager di mesin Anda. (opsional) Klik kotak centang Perlihatkan kunci gateway untuk melihat teks kunci.

   

8. Klik Daftar untuk mendaftarkan gateway dengan layanan cloud.

9. Pada tab Pengaturan, klik Ubah untuk memilih sertifikat yang sama yang digunakan dengan gateway lama, masukkan kata sandi, dan klik Selesai.

   

   Anda dapat mengekspor sertifikat dari gateway lama dengan melakukan langkah-langkah berikut: luncurkan Data Management Gateway Configuration Manager di mesin lama, alihkan ke tab Sertifikat, klik tombol Ekspor dan ikuti instruksi.

10. Setelah pendaftaran gateway berhasil, Anda akan melihat Pendaftaran diatur ke Terdaftar dan Status diatur ke Dimulai di halaman Beranda Microsoft Endpoint Configuration Manager Gateway.

Mengenkripsi kredensial

Untuk mengenkripsi kredensial di Editor Data Factory, lakukan langkah-langkah berikut:

1. Luncurkan browser web di mesin gateway, navigasi ke portal Microsoft Azure. Telusuri pabrik data Anda jika diperlukan, buka pabrik data di laman DATA FACTORY, lalu klik Author & Deploy untuk meluncurkan Editor Data Factory.

2. Klik layanan tertaut yang sudah ada dalam tampilan pohon untuk melihat definisi JSON-nya atau membuat layanan tertaut yang memerlukan Data Management Gateway (misalnya: SQL Server atau Oracle).

3. Di editor JSON, untuk properti gatewayName, masukkan nama gateway.

4. Masukkan nama server untuk properti Sumber Data di connectionString.

5. Masukkan nama database untuk properti Katalog Awal dalam connectionString.

6. Klik tombol Enkripsi pada bilah perintah yang meluncurkan aplikasi Pengelola Kredensial klik-sekali. Anda akan melihat kotak dialog Pengaturan Kredensial.

   

7. Dalam kotak dialog Pengaturan Kredensial, lakukan langkah-langkah berikut ini:

   1. Pilih autentikasi yang Anda inginkan untuk digunakan oleh layanan Azure Data Factory untuk menyambungkan ke database.
   2. Masukkan nama pengguna yang memiliki akses ke database untuk pengaturan USERNAME.
   3. Masukkan kata sandi untuk pengguna untuk pengaturan KATA SANDI.
   4. Klik OK untuk mengenkripsi kredensial dan menutup kotak dialog.

8. Anda akan melihat properti encryptedCredential di connectionString sekarang.

   {
       "name": "SqlServerLinkedService",
       "properties": {
           "type": "OnPremisesSqlServer",
           "description": "",
           "typeProperties": {
               "connectionString": "data source=myserver;initial catalog=mydatabase;Integrated Security=False;EncryptedCredential=eyJDb25uZWN0aW9uU3R",
               "gatewayName": "adftutorialgateway"
           }
       }
   }
   

   Jika Anda mengakses portal dari mesin yang berbeda dari mesin gateway, Anda harus memastikan bahwa aplikasi Pengelola Kredensial dapat terhubung ke mesin gateway. Jika aplikasi tidak dapat mencapai mesin gateway, itu tidak memungkinkan Anda untuk mengatur kredensial untuk sumber data dan untuk menguji koneksi ke sumber data.

Saat Anda menggunakan aplikasi Pengaturan Kredensial, portal mengenkripsi kredensial dengan sertifikat yang ditentukan di tab SertifikatGateway Configuration Manager pada mesin gateway.

Jika Anda mencari pendekatan berbasis API untuk mengenkripsi kredensial, Anda dapat menggunakan cmdlet New-AzDataFactoryEncryptValue PowerShell untuk mengenkripsi kredensial. Cmdlet menggunakan sertifikat yang dikonfigurasi gateway untuk digunakan untuk mengenkripsi kredensial. Anda menambahkan kredensial terenkripsi ke elemen EncryptedCredential dari connectionString di JSON. Anda menggunakan JSON dengan cmdlet New-AzDataFactoryLinkedService atau di Editor Data Factory.

"connectionString": "Data Source=<servername>;Initial Catalog=<databasename>;Integrated Security=True;EncryptedCredential=<encrypted credential>",

Ada satu pendekatan lagi untuk mengatur kredensial menggunakan Data Factory Editor. Jika Anda membuat layanan yang ditautkan SQL Server dengan menggunakan editor dan Anda memasukkan kredensial dalam teks biasa, kredensial dienkripsi menggunakan sertifikat yang dimiliki layanan Azure Data Factory. Hal ini TIDAK menggunakan sertifikat yang dikonfigurasi gateway untuk digunakan. Meskipun pendekatan ini mungkin sedikit lebih cepat dalam beberapa kasus, itu kurang aman. Oleh karena itu, kami sarankan Anda mengikuti pendekatan ini hanya untuk tujuan pengembangan/pengujian.

Cmdlet Powershell

Bagian ini menjelaskan cara membuat dan mendaftarkan gateway menggunakan cmdlet Azure PowerShell.

1. Luncurkan Azure PowerShell dalam mode administrator.

2. Masuk ke akun Azure Anda dengan menjalankan perintah berikut ini dan masukkan kredensial Azure Anda.

   Connect-AzAccount
   

3. Gunakan cmdlet New-AzDataFactoryGateway untuk membuat gateway logis sebagai berikut:

   $MyDMG = New-AzDataFactoryGateway -Name <gatewayName> -DataFactoryName <dataFactoryName> -ResourceGroupName ADF –Description <desc>
   

   Contoh perintah dan output:

   PS C:\> $MyDMG = New-AzDataFactoryGateway -Name MyGateway -DataFactoryName $df -ResourceGroupName ADF –Description "gateway for walkthrough"
   
   Name              : MyGateway
   Description       : gateway for walkthrough
   Version           :
   Status            : NeedRegistration
   VersionStatus     : None
   CreateTime        : 9/28/2014 10:58:22
   RegisterTime      :
   LastConnectTime   :
   ExpiryTime        :
   ProvisioningState : Succeeded
   Key               : ADF#00000000-0000-4fb8-a867-947877aef6cb@fda06d87-f446-43b1-9485-78af26b8bab0@4707262b-dc25-4fe5-881c-c8a7c3c569fe@wu#nfU4aBlq/heRyYFZ2Xt/CD+7i73PEO521Sj2AFOCmiI
   

4. Di Azure PowerShell, alihkan ke folder: C:\\Program Files\Microsoft Integration Runtime\5.0\PowerShellScript\. Jalankan RegisterGateway.ps1 terkait dengan variabel lokal $Key seperti yang ditunjukkan dalam perintah berikut. Skrip ini mendaftarkan agen klien yang terinstal pada mesin Anda dengan gateway logis yang Anda buat sebelumnya.

   PS C:\> .\RegisterGateway.ps1 $MyDMG.Key
   

   Agent registration is successful!
   

   Anda dapat mendaftarkan gateway pada mesin jarak jauh dengan menggunakan parameter IsRegisterOnRemoteMachine. Contoh:

   .\RegisterGateway.ps1 $MyDMG.Key -IsRegisterOnRemoteMachine true
   

5. Anda bisa menggunakan cmdlet Get-AzDataFactoryGateway untuk mendapatkan daftar Gateway di data factory Anda. Saat Status muncul secara online,itu berarti gateway Anda siap digunakan.

   Get-AzDataFactoryGateway -DataFactoryName <dataFactoryName> -ResourceGroupName ADF
   

   Anda bisa menghapus gateway menggunakan cmdlet Remove-AzDataFactoryGateway dan memperbarui deskripsi untuk gateway menggunakan cmdlet Set-AzDataFactoryGateway. Untuk sintaks dan detail lainnya tentang cmdlet ini, lihat Referensi Cmdlet Data Factory.

Mencantumkan gateway menggunakan PowerShell

Get-AzDataFactoryGateway -DataFactoryName jasoncopyusingstoredprocedure -ResourceGroupName ADF_ResourceGroup

Menghapus gateway menggunakan PowerShell

Remove-AzDataFactoryGateway -Name JasonHDMG_byPSRemote -ResourceGroupName ADF_ResourceGroup -DataFactoryName jasoncopyusingstoredprocedure -Force

Langkah berikutnya

• Lihat Memindahkan data antara artikel penyimpanan data lokal dan cloud. Di penelusuran, Anda membuat alur yang menggunakan gateway untuk memindahkan data dari database SQL Server ke Azure blob.