Pindahkan data dari SAP Hana menggunakan Azure Data Factory
Catatan
Artikel ini berlaku untuk versi 1 dari Azure Data Factory. Jika Anda menggunakan versi layanan Azure Data Factory saat ini, lihat konektor SAP Hana di V2.
Artikel ini menjelaskan cara menggunakan Aktivitas Salin di Azure Data Factory untuk memindahkan data dari SAP Hana lokal. Ini dibuat pada artikel Aktivitas Pergerakan Data, yang menyajikan ikhtisar umum pergerakan data dengan aktivitas salin.
Anda dapat menyalin data dari penyimpanan data SAP Hana lokal ke penyimpanan data sink yang didukung. Untuk daftar penyimpanan data yang didukung sebagai sink oleh aktivitas salin, lihat tabel Penyimpanan data yang didukung. Data Factory saat ini hanya mendukung pemindahan data dari SAP Hana ke penyimpanan data lain, tetapi tidak untuk memindahkan data dari penyimpanan data lain ke SAP Hana.
Versi dan instalasi yang didukung
Konektor ini mendukung versi database SAP Hana apa pun. Ini mendukung penyalinan data dari model informasi Hana (seperti tampilan Analitik dan Perhitungan) dan tabel Baris/Kolom menggunakan kueri SQL.
Untuk mengaktifkan konektivitas ke instans SAP Hana, instal komponen berikut:
- Data Management Gateway: Layanan Azure Data Factory mendukung menyambungkan ke penyimpanan data lokal (termasuk SAP Hana) menggunakan komponen yang disebut Data Management Gateway. Untuk mempelajari tentang Data Management Gateway dan instruksi langkah demi langkah untuk menyiapkan gateway, lihat Memindahkan data antara penyimpanan data lokal ke artikel penyimpanan data cloud. Gateway diperlukan bahkan jika SAP Hana dihosting di mesin virtual Azure IaaS (VM). Anda dapat menginstal gateway pada VM yang sama dengan penyimpanan data atau pada VM yang berbeda selama gateway dapat terhubung ke database.
- Driver ODBC SAP Hana pada mesin gateway. Anda dapat mengunduh driver ODBC SAP Hana dari Pusat Unduhan Perangkat Lunak SAP. Cari dengan kata kunci SAP Hana CLIENT untuk Windows.
Memulai
Anda dapat membuat alur dengan aktivitas salin yang memindahkan data dari penyimpanan data SAP Hana lokal dengan menggunakan alat/API yang berbeda.
- Cara termudah untuk membuat alur adalah dengan menggunakan Wizard Salin. Lihat Tutorial: Membuat alur menggunakan Wizard Salin untuk panduan singkat tentang membuat alur menggunakan Wizard Salin data.
- Anda juga dapat menggunakan alat berikut untuk membuat pipeline: Visual Studio, Azure PowerShell, template Azure Resource Manager, .NET API, dan REST API. Lihat Tutorial aktivitas penyalinan untuk instruksi langkah demi langkah guna membuat alur dengan aktivitas penyalinan.
Baik Anda menggunakan alat atau API, Anda melakukan langkah-langkah berikut untuk membuat alur yang memindahkan data dari penyimpanan data sumber ke penyimpanan data sink:
- Buat layanan tertaut untuk menautkan penyimpanan data input dan output ke pabrik data Anda.
- Buat kumpulan data untuk mewakili data input dan output untuk operasi salin.
- Buat jalur dengan aktivitas salinan yang mengambil set data sebagai input dan set data sebagai output.
Saat Anda menggunakan wizard, definisi JSON untuk entitas Data Factory ini (layanan tertaut, himpunan data, dan alur) secara otomatis dibuat untuk Anda. Saat Anda menggunakan alat/API (kecuali .NET API), Anda menentukan entitas Data Factory ini menggunakan format JSON. Untuk contoh dengan definisi JSON untuk entitas Data Factory yang digunakan untuk menyalin data dari SAP Hana lokal, lihat bagian Contoh JSON: Menyalin data dari SAP Hana ke Azure Blob dari artikel ini.
Bagian berikut memberikan detail tentang properti JSON yang digunakan untuk menentukan entitas Data Factory khusus untuk penyimpanan data SAP Hana:
Properti layanan tertaut
Tabel berikut memberikan deskripsi untuk elemen JSON khusus untuk layanan tertaut SAP Hana.
| Properti | Deskripsi | Nilai yang diizinkan | Diperlukan |
|---|---|---|---|
| server | Nama server tempat instans SAP Hana berada. Jika server Anda menggunakan port yang dikustomisasi, tentukan server:port. |
string | Ya |
| authenticationType | Jenis autentikasi. | string. "Dasar" atau "Windows" | Ya |
| username | Nama pengguna yang memiliki akses ke server SAP | string | Ya |
| kata sandi | Kata sandi untuk pengguna. | string | Ya |
| gatewayName | Nama gateway yang harus digunakan layanan Azure Data Factory untuk menyambungkan ke instans SAP Hana lokal. | string | Ya |
| encryptedCredential | String kredensial terenkripsi. | string | Tidak |
Properti himpunan data
Untuk daftar lengkap bagian properti & yang tersedia untuk menentukan himpunan data, lihat artikel Membuat himpunan data. Bagian-bagian seperti struktur, ketersediaan, dan kebijakan himpunan data JSON mirip untuk semua jenis himpunan data (Azure SQL, blob Azure, tabel Azure, dll.).
Bagian typeProperties berbeda untuk setiap jenis himpunan data dan menyediakan informasi tentang lokasi data di penyimpanan data. Tidak ada properti dengan jenis spesifik yang didukung untuk himpunan data jenis RelationalTable SAP Hana.
Properti aktivitas salin
Untuk daftar lengkap bagian & properti yang tersedia untuk menentukan aktivitas, lihat artikel Membuat Alur. Properti seperti nama, deskripsi, tabel input dan output, dan kebijakan tersedia untuk semua jenis aktivitas.
Sedangkan properti yang tersedia di bagian typeProperties aktivitas bervariasi menurut setiap jenis aktivitas. Untuk aktivitas Salin, ini bervariasi sesuai dengan jenis sumber dan sink.
Ketika sumber dalam aktivitas salin berjenis RelationalSource (yang mencakup SAP HANA), properti berikut tersedia di bagian typeProperties:
| Properti | Deskripsi | Nilai yang diizinkan | Diperlukan |
|---|---|---|---|
| kueri | Menentukan kueri SQL untuk membaca data dari instans SAP Hana. | Kueri SQL. | Ya |
Contoh JSON: Salin data dari SAP Hana ke Azure Blob
Contoh berikut ini menyediakan contoh definisi JSON yang bisa Anda gunakan untuk membuat alur dengan menggunakan Visual Studio atau Azure PowerShell. Contoh ini menunjukkan cara menyalin data dari SAP Hana lokal ke Azure Blob Storage. Namun, data dapat disalin langsung ke salah satu sink yang disebutkan di sini menggunakan Aktivitas Salin di Azure Data Factory.
Penting
Sampel ini menyediakan cuplikan JSON. Hal ini tidak termasuk instruksi langkah demi langkah untuk membuat pabrik data. Lihat artikelmemindahkan data antara lokasi lokal dan artikel cloud untuk instruksi langkah demi langkah.
Sampel memiliki entitas Data Factory berikut:
- Layanan tertaut dari jenis SapHana.
- Layanan tertaut jenis AzureStorage.
- Sebuah input himpunan data jenis RelationalTable.
- Sebuah output himpunan data jenis AzureBlob.
- Alur dengan Aktivitas Salin yang menggunakan RelationalSource dan BlobSink.
Sampel menyalin data dari instans SAP Hana ke Azure blob per jam. Properti JSON yang digunakan dalam sampel ini dijelaskan dalam beberapa bagian setelah sampel.
Sebagai langkah pertama, siapkan data management gateway. Instruksinya berada di artikel memindahkan data antara lokasi lokal dan cloud.
Layanan tertaut SAP Hana
Layanan tertaut ini menghubungkan instans SAP Hana Anda ke data factory. Properti jenis diatur ke SapHana. Bagian typeProperties menyediakan informasi koneksi untuk instans SAP Hana.
{
"name": "SapHanaLinkedService",
"properties":
{
"type": "SapHana",
"typeProperties":
{
"server": "<server name>",
"authenticationType": "<Basic, or Windows>",
"username": "<SAP user>",
"password": "<Password for SAP user>",
"gatewayName": "<gateway name>"
}
}
}
Layanan tertaut Microsoft Azure Storage
Layanan tertaut Microsoft Azure Storage menautkan akun penyimpanan Azure Anda ke data factory. Properti jenis diatur ke AzureStorage. Bagian typeProperties menyediakan informasi koneksi untuk akun Microsoft Azure Storage.
{
"name": "AzureStorageLinkedService",
"properties": {
"type": "AzureStorage",
"typeProperties": {
"connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
}
}
}
Himpunan data input SAP Hana
Himpunan data ini mendefinisikan himpunan data SAP Hana. Anda mengatur jenis himpunan data Azure Data Factory ke RelationalTable. Saat ini, Anda tidak menentukan properti spesifik tipe apa pun untuk himpunan data SAP Hana. Kueri dalam definisi Aktivitas Salin menentukan data apa yang akan dibaca dari instans SAP Hana.
Mengatur properti eksternal ke true menginformasikan layanan Azure Data Factory bahwa tabel berada di luar data factory dan tidak dihasilkan oleh aktivitas di data factory.
Properti frekuensi dan interval menentukan jadwal. Dalam hal ini, data dibaca dari instans SAP Hana per jam.
{
"name": "SapHanaDataset",
"properties": {
"type": "RelationalTable",
"linkedServiceName": "SapHanaLinkedService",
"typeProperties": {},
"availability": {
"frequency": "Hour",
"interval": 1
},
"external": true
}
}
Himpunan data output Azure Blob
Himpunan data ini menentukan output himpunan data Azure Blob. Properti jenis diatur ke AzureBlob. Bagian typeProperties menyediakan tempat data yang disalin dari instans SAP Hana disimpan. Data ditulis ke blob baru setiap jam (frekuensi: jam, interval: 1). Jalur folder untuk blob dievaluasi secara dinamis berdasarkan waktu mulai irisan yang sedang diproses. Jalur folder menggunakan bagian tahun, bulan, hari, dan jam dari waktu mulai.
{
"name": "AzureBlobDataSet",
"properties": {
"type": "AzureBlob",
"linkedServiceName": "AzureStorageLinkedService",
"typeProperties": {
"folderPath": "mycontainer/saphana/yearno={Year}/monthno={Month}/dayno={Day}/hourno={Hour}",
"format": {
"type": "TextFormat",
"rowDelimiter": "\n",
"columnDelimiter": "\t"
},
"partitionedBy": [
{
"name": "Year",
"value": {
"type": "DateTime",
"date": "SliceStart",
"format": "yyyy"
}
},
{
"name": "Month",
"value": {
"type": "DateTime",
"date": "SliceStart",
"format": "MM"
}
},
{
"name": "Day",
"value": {
"type": "DateTime",
"date": "SliceStart",
"format": "dd"
}
},
{
"name": "Hour",
"value": {
"type": "DateTime",
"date": "SliceStart",
"format": "HH"
}
}
]
},
"availability": {
"frequency": "Hour",
"interval": 1
}
}
}
Alur dengan aktivitas Salin
Alur berisi Aktivitas Salin yang dikonfigurasi untuk menggunakan himpunan data input dan output dan dijadwalkan untuk berjalan setiap jam. Dalam definisi JSON alur, jenis sumber diatur ke RelationalSource (untuk sumber SAP Hana) dan jenis sink diatur ke BlobSink. Kueri SQL yang ditentukan untuk properti kueri memilih data dalam satu jam terakhir untuk disalin.
{
"name": "CopySapHanaToBlob",
"properties": {
"description": "pipeline for copy activity",
"activities": [
{
"type": "Copy",
"typeProperties": {
"source": {
"type": "RelationalSource",
"query": "<SQL Query for HANA>"
},
"sink": {
"type": "BlobSink",
"writeBatchSize": 0,
"writeBatchTimeout": "00:00:00"
}
},
"inputs": [
{
"name": "SapHanaDataset"
}
],
"outputs": [
{
"name": "AzureBlobDataSet"
}
],
"policy": {
"timeout": "01:00:00",
"concurrency": 1
},
"scheduler": {
"frequency": "Hour",
"interval": 1
},
"name": "SapHanaToBlob"
}
],
"start": "2017-03-01T18:00:00Z",
"end": "2017-03-01T19:00:00Z"
}
}
Ketik pemetaan untuk SAP Hana
Seperti disebutkan dalam artikel aktivitas perpindahan data, aktivitas Salin melakukan konversi jenis otomatis dari jenis sumber ke jenis sink dengan pendekatan dua langkah berikut:
- Konversi dari jenis sumber asli menjadi jenis .NET
- Konversi dari jenis .NET ke jenis sink asli
Saat memindahkan data dari SAP Hana, pemetaan berikut digunakan dari jenis SAP Hana ke tipe .NET.
| Jenis SAP Hana | Jenis berbasis .NET |
|---|---|
| TINYINT | Byte |
| SMALLINT | Int16 |
| INT | Int32 |
| BIGINT | Int64 |
| REAL | Tunggal |
| DOBEL | Tunggal |
| DECIMAL | Desimal |
| BOOLEAN | Byte |
| VARCHAR | String |
| NVARCHAR | String |
| CLOB | Byte[] |
| ALPHANUM | String |
| BLOB | Byte[] |
| DATE | DateTime |
| TIME | TimeSpan |
| TIMESTAMP | DateTime |
| SECONDDATE | DateTime |
Batasan yang diketahui
Ada beberapa keterbatasan yang diketahui saat menyalin data dari SAP Hana:
- String NVARCHAR dipotong hingga panjang maksimum 4000 karakter Unicode
- SMALLDECIMAL tidak didukung
- VARBINARY tidak didukung
- Tanggal Berlaku antara 30/12/1899 dan 31/12/9999
Memetakan sumber untuk kolom sink
Untuk mempelajari tentang pemetaan kolom dari himpunan data sumber ke kolom dalam himpunan data sink, lihat Memetakan kolom himpunan data di Azure Data Factory.
Bacaan berulang dari sumber relasional
Saat menyalin data dari penyimpanan data relasional, ingatlah pengulangan untuk menghindari hasil yang tidak diinginkan. Di Azure Data Factory, Anda dapat menjalankan ulang irisan secara manual. Anda juga dapat mengonfigurasi kebijakan coba lagi untuk himpunan data sehingga irisan diulang saat kegagalan terjadi. Saat irisan diulang dengan cara apa pun, Anda perlu memastikan bahwa data yang sama dibaca tidak peduli berapa kali irisan dijalankan. Lihat Bacaan yang dapat diulang dari sumber relasional
Kinerja dan Penyetelan
Lihat Performa Aktivitas Penyalinan & Panduan Pengaturan untuk mempelajari tentang faktor utama yang memengaruhi performa perpindahan data (Aktivitas Penyalinan) di Azure Data Factory dan berbagai cara untuk mengoptimalkannya.