Azure Feature Pack untuk Layanan Integrasi (SSIS)

Berlaku untuk: SQL Server (semua versi yang didukung) SSIS Integration Runtime di Azure Data Factory

Paket Fitur SQL Server Integration Services (SSIS) untuk Azure adalah ekstensi yang menyediakan komponen yang tercantum di halaman ini agar SSIS tersambung ke layanan Azure, mentransfer data antara Azure dan sumber data lokal, dan memproses data yang disimpan di Azure.

Download

• Untuk SQL Server 2019 - Paket Fitur Microsoft SQL Server 2019 Integration Services untuk Azure
• Untuk SQL Server 2017 - Paket Fitur Microsoft SQL Server 2017 Integration Services untuk Azure
• Untuk SQL Server 2016 - Paket Fitur Microsoft SQL Server 2016 Integration Services untuk Azure
• Untuk SQL Server 2014 - Paket Fitur Microsoft SQL Server 2014 Integration Services untuk Azure
• Untuk SQL Server 2012 - Paket Fitur Microsoft SQL Server 2012 Integration Services untuk Azure

Halaman unduhan juga menyertakan informasi tentang prasyarat. Pastikan Anda menginstal SQL Server sebelum menginstal Paket Fitur Azure di server, atau komponen dalam Paket Fitur mungkin tidak tersedia saat Anda menyebarkan paket ke database Katalog SSIS, SSISDB, di server.

Komponen dalam Paket Fitur

• Pengelola Sambungan

  • Pengelola Koneksi Azure Data Lake Analytics

  • Pengelola Koneksi Azure Data Lake Storage

  • Pengelola Koneksi Azure HDInsight

  • Pengelola Koneksi Azure Resource Manager

  • Pengelola Koneksi Azure Storage

  • Pengelola Sambungan Langganan Azure

• Tugas

  • Tugas Unduhan Blob Azure

  • Tugas Upload Blob Azure

  • Tugas Azure Data Lake Analytics

  • Tugas Sistem File Azure Data Lake Storage

  • Tugas Membuat Kluster Azure HDInsight

  • Tugas Menghapus Kluster Azure HDInsight

  • Tugas Apache Hive Azure HDInsight

  • Tugas Pig Microsoft Azure HDInsight

  • Tugas Azure Synapse Analytics

  • Tugas File Fleksibel

• Komponen Aliran Data

  • Sumber Blob Azure

  • Tujuan Blob Azure

  • Sumber Azure Data Lake Storage

  • Tujuan Azure Data Lake Storage

  • Sumber File Fleksibel

  • Tujuan File Fleksibel

• Azure Blob, Azure Data Lake Store, dan Data Lake Storage Gen2 File Enumerator. Lihat Kontainer Perulangan Foreach

Menggunakan TLS 1.2

Versi TLS yang digunakan oleh Azure Feature Pack mengikuti pengaturan .NET Framework sistem. Untuk menggunakan TLS 1.2, tambahkan nilai bernama REG_DWORDSchUseStrongCrypto dengan data 1 di bawah dua kunci registri berikut.

1. HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\Microsoft\.NETFramework\v4.0.30319
2. HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\.NETFramework\v4.0.30319

Dependensi pada Java

Java diperlukan untuk menggunakan format file ORC/Parquet dengan konektor Azure Data Lake Store/Flexible File.
Arsitektur (32/64-bit) build Java harus cocok dengan runtime SSIS yang akan digunakan. Build Java berikut telah diuji.

• OpenJDK Zulu 8u192
• Lingkungan Runtime Java SE Oracle 8u192

Menyiapkan OpenJDK Zulu

1. Unduh dan ekstrak paket zip penginstalan.
2. Dari Prompt Perintah, jalankan sysdm.cpl.
3. Pada tab Tingkat Lanjut , pilih Variabel Lingkungan.
4. Di bawah bagian Variabel sistem , pilih Baru.
5. Masukkan JAVA_HOME untuk Nama variabel.
6. Pilih Telusuri Direktori, navigasikan ke folder yang diekstrak, dan pilih jre subfolder. Kemudian pilih OK, dan nilai Variabel diisi secara otomatis.
7. Pilih OK untuk menutup kotak dialog Variabel Sistem Baru .
8. Pilih OK untuk menutup kotak dialog Variabel Lingkungan .
9. Pilih OK untuk menutup kotak dialog Properti Sistem .

Tip

Jika Anda menggunakan format Parquet dan menekan kesalahan yang mengatakan "Terjadi kesalahan saat memanggil java, pesan: java.lang.OutOfMemoryError:Java heap space", Anda dapat menambahkan variabel _JAVA_OPTIONS lingkungan untuk menyesuaikan ukuran tumpukan min/maks untuk JVM.

Contoh: atur variabel _JAVA_OPTIONS dengan nilai -Xms256m -Xmx16g. Bendera Xms menentukan kumpulan alokasi memori awal untuk Java Virtual Machine (JVM), sementara Xmx menentukan kumpulan alokasi memori maksimum. Ini berarti bahwa JVM akan dimulai dengan jumlah memori Xms dan akan dapat menggunakan jumlah memori maksimum Xmx. Nilai defaultnya adalah min 64MB dan maks 1G.

Menyiapkan OpenJDK Zulu di Integration Runtime Azure-SSIS

Ini harus dilakukan melalui antarmuka penyiapan kustom untuk Integration Runtime Azure-SSIS. Misalkan zulu8.33.0.1-jdk8.0.192-win_x64.zip digunakan. Kontainer blob dapat diatur sebagai berikut.

main.cmd
install_openjdk.ps1
zulu8.33.0.1-jdk8.0.192-win_x64.zip

Sebagai titik masuk, main.cmd memicu eksekusi skrip install_openjdk.ps1 PowerShell yang pada gilirannya mengekstrak zulu8.33.0.1-jdk8.0.192-win_x64.zip dan mengatur JAVA_HOME yang sesuai.

main.cmd

powershell.exe -file install_openjdk.ps1

Tip

Jika Anda menggunakan format Parquet dan menekan kesalahan yang mengatakan "Terjadi kesalahan saat memanggil java, pesan: java.lang.OutOfMemoryError:Java heap space", Anda dapat menambahkan perintah di main.cmd untuk menyesuaikan ukuran tumpukan min/maks untuk JVM. Contoh:

setx /M _JAVA_OPTIONS "-Xms256m -Xmx16g"

Bendera Xms menentukan kumpulan alokasi memori awal untuk Java Virtual Machine (JVM), sementara Xmx menentukan kumpulan alokasi memori maksimum. Ini berarti bahwa JVM akan dimulai dengan jumlah memori Xms dan akan dapat menggunakan jumlah memori maksimum Xmx. Nilai defaultnya adalah min 64MB dan maks 1G.

install_openjdk.ps1

Expand-Archive zulu8.33.0.1-jdk8.0.192-win_x64.zip -DestinationPath C:\
[Environment]::SetEnvironmentVariable("JAVA_HOME", "C:\zulu8.33.0.1-jdk8.0.192-win_x64\jre", "Machine")

Menyiapkan Lingkungan Runtime Java SE Oracle

1. Unduh dan jalankan alat penginstal exe.
2. Ikuti instruksi penginstal untuk menyelesaikan penyiapan.

Skenario: Memproses big data

Gunakan Konektor Azure untuk menyelesaikan pekerjaan pemrosesan big data berikut:

1. Gunakan Tugas Unggah Azure Blob untuk mengunggah data input ke Azure Blob Storage.

2. Gunakan Tugas Buat Kluster Azure HDInsight untuk membuat kluster Azure HDInsight. Langkah ini bersifat opsional jika Anda ingin menggunakan kluster Anda sendiri.

3. Gunakan Tugas Apache Hive Azure HDInsight atau Tugas Pig Azure HDInsight untuk memanggil pekerjaan Pig atau Apache Hive di kluster Azure HDInsight.

4. Gunakan Tugas Kluster Penghapusan Azure HDInsight untuk menghapus Kluster HDInsight setelah digunakan jika Anda telah membuat kluster HDInsight sesuai permintaan di langkah #2.

5. Gunakan Tugas Unduhan Blob Azure HDInsight untuk mengunduh data output Pig/Apache Hive dari Azure Blob Storage.

Skenario: Mengelola data di cloud

Gunakan Tujuan Blob Azure dalam paket SSIS untuk menulis data output ke Azure Blob Storage, atau gunakan Sumber Blob Azure untuk membaca data dari Azure Blob Storage.

Gunakan Foreach Loop Container dengan Azure Blob Enumerator untuk memproses data dalam beberapa file blob.

Catatan Rilis

Versi 1.21.0

Penyempurnaan

1. Meningkatkan log4j dari versi 1.2.17 ke 2.17.1.

Versi 1.20.0

Penyempurnaan

1. Versi .NET Framework target yang diperbarui dari 4.6 ke 4.7.2.
2. Mengganti nama "Tugas Unggah Azure SQL DW" menjadi "Tugas Azure Synapse Analytics".

Bugfixes

1. Saat mengakses penyimpanan blob Azure dan komputer yang menjalankan SSIS berada dalam lokal non-AS, eksekusi paket akan gagal dengan pesan kesalahan "String tidak dikenali sebagai nilai DateTime yang valid".
2. Untuk Azure Storage Connection Manager, rahasia diperlukan (dan tidak digunakan) bahkan ketika identitas terkelola Data Factory digunakan untuk mengautentikasi.

Versi 1.19.0

Penyempurnaan

1. Menambahkan dukungan untuk autentikasi tanda tangan akses bersama ke pengelola koneksi Azure Storage.

Versi 1.18.0

Penyempurnaan

1. Untuk tugas File Fleksibel, tiga adalah tiga peningkatan: (1) dukungan kartubebas untuk operasi salin/hapus ditambahkan; (2) pengguna dapat mengaktifkan/menonaktifkan pencarian rekursif untuk operasi penghapusan; dan (3) nama file Tujuan untuk operasi salin dapat kosong untuk menyimpan nama file sumber.

Versi 1.17.0

Ini adalah versi perbaikan yang dirilis hanya untuk SQL Server 2019.

Bugfixes

1. Saat menjalankan di Visual Studio 2019 dan menargetkan SQL Server 2019, Flexible File Task/Source/Destination mungkin gagal dengan pesan kesalahan Attempted to access an element as a type incompatible with the array.
2. Saat menjalankan di Visual Studio 2019 dan menargetkan SQL Server 2019, Sumber/Tujuan File Fleksibel menggunakan format ORC/Parquet mungkin gagal dengan pesan kesalahan Microsoft.DataTransfer.Common.Shared.HybridDeliveryException: An unknown error occurred. JNI.JavaExceptionCheckException.

Versi 1.16.0

Bugfixes

1. Dalam kasus tertentu, eksekusi paket melaporkan "Kesalahan: Tidak dapat memuat file atau rakitan 'Newtonsoft.Json, Version=11.0.0.0, Culture=netral, PublicKeyToken=30ad4fe6b2a6aeed' atau salah satu dependensinya."

Versi 1.15.0

Penyempurnaan

1. Menambahkan operasi hapus folder/file ke Tugas File Fleksibel
2. Menambahkan fungsi konversi tipe data Eksternal/Output di Sumber File Fleksibel

Bugfixes

1. Dalam kasus tertentu, uji kerusakan koneksi untuk Data Lake Storage Gen2 dengan pesan kesalahan "Mencoba mengakses elemen sebagai jenis yang tidak kompatibel dengan array"
2. Mengembalikan dukungan untuk Emulator Azure Storage