Pindahkan data dari Sybase menggunakan Azure Data Factory
Catatan
Artikel ini berlaku untuk versi 1 dari Azure Data Factory. Jika Anda menggunakan versi layanan Azure Data Factory saat ini, lihat Konektor Sybase di V2.
Artikel ini menjelaskan cara menggunakan Aktivitas Salin di Azure Data Factory untuk memindahkan data dari database Sybase lokal. Ini dibuat pada artikel Aktivitas Pergerakan Data, yang menyajikan ikhtisar umum pergerakan data dengan aktivitas salin.
Anda dapat menyalin data dari penyimpanan data Sybase lokal ke penyimpanan data sink yang didukung. Untuk daftar penyimpanan data yang didukung sebagai sink oleh aktivitas salin, lihat tabel Penyimpanan data yang didukung. Data factory saat ini hanya mendukung pemindahan data dari penyimpanan data Sybase ke penyimpanan data lain, tetapi tidak untuk memindahkan data dari penyimpanan data lain ke penyimpanan data Sybase.
Prasyarat
Layanan Azure Data Factory mendukung menyambungkan ke sumber Sybase lokal menggunakan Data Management Gateway. Lihat artikel memindahkan data antara lokasi lokal dan cloud untuk mempelajari tentang Data Management Gateway dan untuk instruksi langkah demi langkah tentang cara menyiapkan gateway.
Gateway diperlukan bahkan jika database Sybase dihosting di Azure IaaS VM. Anda dapat menginstal gateway pada IaaS VM yang sama dengan penyimpanan data atau pada VM yang berbeda selama gateway dapat terhubung ke database.
Catatan
Lihat Memecahkan masalah gateway untuk tips tentang pemecahan masalah terkait koneksi/gateway.
Versi dan instalasi yang didukung
Agar Data Management Gateway tersambung ke Database Sybase, Anda perlu menginstal penyedia data untuk Sybase iAnywhere.Data.SQLAnywhere 16 atau lebih tinggi pada sistem yang sama dengan Data Management Gateway.
SAP Sybase SQL Anywhere (ASA) versi 16 ke atas didukung; IQ dan ASE tidak didukung.
Memulai
Anda dapat membuat alur dengan aktivitas salin yang memindahkan data dari penyimpanan data Cassandra lokal dengan menggunakan alat/API yang berbeda.
- Cara termudah untuk membuat alur adalah dengan menggunakan Wizard Salin. Lihat Tutorial: Membuat alur menggunakan Wizard Salin untuk panduan singkat tentang membuat alur menggunakan Wizard Salin data.
- Anda juga dapat menggunakan alat berikut untuk membuat pipeline: Visual Studio, Azure PowerShell, template Azure Resource Manager, .NET API, dan REST API. Lihat Tutorial aktivitas penyalinan untuk instruksi langkah demi langkah guna membuat alur dengan aktivitas penyalinan.
Baik Anda menggunakan alat atau API, Anda melakukan langkah-langkah berikut untuk membuat alur yang memindahkan data dari penyimpanan data sumber ke penyimpanan data sink:
- Buat layanan tertaut untuk menautkan penyimpanan data input dan output ke pabrik data Anda.
- Buat kumpulan data untuk mewakili data input dan output untuk operasi salin.
- Buat jalur dengan aktivitas salinan yang mengambil set data sebagai input dan set data sebagai output.
Saat Anda menggunakan wizard, definisi JSON untuk entitas Data Factory ini (layanan tertaut, himpunan data, dan alur) secara otomatis dibuat untuk Anda. Saat Anda menggunakan alat/API (kecuali .NET API), Anda menentukan entitas Data Factory ini dengan menggunakan format JSON. Untuk contoh dengan definisi JSON untuk entitas Data Factory yang digunakan untuk menyalin data dari penyimpanan data Sybase lokal, lihat bagian Contoh JSON: Menyalin data dari Sybase ke Azure Blob di artikel ini.
Bagian berikut memberikan detail tentang properti JSON yang digunakan untuk menentukan entitas Azure Data Factory khusus untuk penyimpanan data Sybase:
Properti layanan tertaut
Tabel berikut memberikan deskripsi untuk elemen JSON khusus untuk layanan tertaut Sybase.
| Properti | Deskripsi | Diperlukan |
|---|---|---|
| jenis | Properti jenis harus diatur ke: OnPremisesSybase | Ya |
| server | Nama server Sybase. | Ya |
| database | Nama database Sybase. | Ya |
| schema | Nama skema dalam database. | Tidak |
| authenticationType | Jenis autentikasi yang digunakan untuk menyambung ke database Sybase. Nilai yang mungkin adalah: Anonim, Dasar, dan Windows. | Ya |
| username | Tentukan nama pengguna jika Anda menggunakan autentikasi Basic atau Windows. | Tidak |
| kata sandi | Tentukan kata sandi untuk akun pengguna yang Anda tentukan untuk nama pengguna. | Tidak |
| gatewayName | Nama gateway yang harus digunakan layanan Azure Data Factory untuk menyambungkan ke database Sybase lokal. | Ya |
Properti himpunan data
Untuk daftar lengkap bagian properti & yang tersedia untuk menentukan himpunan data, lihat artikel Membuat himpunan data. Bagian-bagian seperti struktur, ketersediaan, dan kebijakan himpunan data JSON mirip untuk semua jenis himpunan data (Azure SQL, blob Azure, tabel Azure, dll.).
Bagian typeProperties berbeda untuk setiap jenis himpunan data dan menyediakan informasi tentang lokasi data di penyimpanan data. Bagian typeProperties untuk himpunan data jenis RelationalTable (yang mencakup himpunan data Sybase) memiliki properti berikut:
| Properti | Deskripsi | Diperlukan |
|---|---|---|
| tableName | Nama tabel dalam instans Sybase Database yang dirujuk oleh layanan tertaut. | Tidak (jika kueriRelationalSource ditentukan) |
Properti aktivitas penyalinan
Untuk daftar lengkap bagian properti & yang tersedia untuk menentukan aktivitas, lihat artikel Membuat Alur. Properti seperti nama, deskripsi, tabel input dan output, dan kebijakan tersedia untuk semua jenis aktivitas.
Sedangkan properti yang tersedia di bagian typeProperties aktivitas bervariasi menurut setiap jenis aktivitas. Untuk aktivitas Salin, ini bervariasi tergantung pada jenis sumber dan sink.
Saat sumber data adalah jenis RelationalSource (yang mencakup Sybase), properti berikut tersedia di bagian typeProperties:
| Properti | Deskripsi | Nilai yang diizinkan | Diperlukan |
|---|---|---|---|
| kueri | Gunakan kueri kustom untuk membaca data. | String kueri SQL. Misalnya: pilih * dari MyTable. | Tidak (jika tableName dari himpunan data ditentukan) |
Contoh JSON: Menyalin data dari Sybase ke Azure Blob
Contoh berikut ini menyediakan contoh definisi JSON yang bisa Anda gunakan untuk membuat alur dengan menggunakan Visual Studio atau Azure PowerShell. Mereka memperlihatkan cara menyalin data dari database Sybase ke Azure Blob Storage. Akan tetapi, data dapat disalin ke salah satu sink yang dinyatakan di sini menggunakan Aktivitas Salin di Azure Data Factory.
Sampel memiliki entitas Data Factory berikut:
- Layanan tertaut dari jenis OnPremisesSybase.
- Layanan yang disukai tipe AzureStorage.
- Sebuah input himpunan data jenis RelationalTable.
- Sebuah output himpunan data jenis AzureBlob.
- Alur dengan Aktivitas Salin yang menggunakan RelationalSource dan BlobSink.
Sampel menyalin data dari hasil kueri dalam database Sybase ke blob setiap jam. Properti JSON yang digunakan dalam sampel ini dijelaskan dalam beberapa bagian setelah sampel.
Sebagai langkah pertama, siapkan data management gateway. Instruksinya berada di artikel memindahkan data antara lokasi lokal dan cloud.
Layanan yang ditautkan Sybase:
{
"name": "OnPremSybaseLinkedService",
"properties": {
"type": "OnPremisesSybase",
"typeProperties": {
"server": "<server>",
"database": "<database>",
"schema": "<schema>",
"authenticationType": "<authentication type>",
"username": "<username>",
"password": "<password>",
"gatewayName": "<gatewayName>"
}
}
}
Layanan tertaut di Azure Blob Storage:
{
"name": "AzureStorageLinkedService",
"properties": {
"type": "AzureStorageLinkedService",
"typeProperties": {
"connectionString": "DefaultEndpointsProtocol=https;AccountName=<AccountName>;AccountKey=<AccountKey>"
}
}
}
himpunan data input Sybase:
Sampel mengasumsikan Anda telah membuat tabel "MyTable" di Sybase dan berisi kolom yang disebut "stempel waktu" untuk data deret waktu.
Pengaturan "eksternal": "true" menginformasikan layanan Azure Data Factory bahwa himpunan data berada di luar data factory dan tidak diproduksi oleh aktivitas di data factory. Perhatikan bahwa jenis layanan yang ditautkan diatur ke: RelationalTable.
{
"name": "SybaseDataSet",
"properties": {
"type": "RelationalTable",
"linkedServiceName": "OnPremSybaseLinkedService",
"typeProperties": {},
"availability": {
"frequency": "Hour",
"interval": 1
},
"external": true,
"policy": {
"externalData": {
"retryInterval": "00:01:00",
"retryTimeout": "00:10:00",
"maximumRetry": 3
}
}
}
}
himpunan data output Azure Blob:
Data ditulis ke blob baru setiap jam (frekuensi: jam, interval: 1). Jalur folder untuk blob dievaluasi secara dinamis berdasarkan waktu mulai irisan yang sedang diproses. Jalur folder menggunakan bagian tahun, bulan, hari, dan jam dari waktu mulai.
{
"name": "AzureBlobSybaseDataSet",
"properties": {
"type": "AzureBlob",
"linkedServiceName": "AzureStorageLinkedService",
"typeProperties": {
"folderPath": "mycontainer/sybase/yearno={Year}/monthno={Month}/dayno={Day}/hourno={Hour}",
"format": {
"type": "TextFormat",
"rowDelimiter": "\n",
"columnDelimiter": "\t"
},
"partitionedBy": [
{
"name": "Year",
"value": {
"type": "DateTime",
"date": "SliceStart",
"format": "yyyy"
}
},
{
"name": "Month",
"value": {
"type": "DateTime",
"date": "SliceStart",
"format": "MM"
}
},
{
"name": "Day",
"value": {
"type": "DateTime",
"date": "SliceStart",
"format": "dd"
}
},
{
"name": "Hour",
"value": {
"type": "DateTime",
"date": "SliceStart",
"format": "HH"
}
}
]
},
"availability": {
"frequency": "Hour",
"interval": 1
}
}
}
Alur dengan aktivitas Salin:
Alur berisi Aktivitas Salin yang dikonfigurasi untuk menggunakan himpunan data input dan output dan dijadwalkan untuk berjalan setiap jam. Dalam definisi alur JSON, jenis sumber diatur ke RelationalSource dan jenis sink diatur ke BlobSink. Kueri SQL yang ditentukan untuk properti kueri memilih data dari DBA. Tabel pesanan dalam database.
{
"name": "CopySybaseToBlob",
"properties": {
"description": "pipeline for copy activity",
"activities": [
{
"type": "Copy",
"typeProperties": {
"source": {
"type": "RelationalSource",
"query": "select * from DBA.Orders"
},
"sink": {
"type": "BlobSink"
}
},
"inputs": [
{
"name": "SybaseDataSet"
}
],
"outputs": [
{
"name": "AzureBlobSybaseDataSet"
}
],
"policy": {
"timeout": "01:00:00",
"concurrency": 1
},
"scheduler": {
"frequency": "Hour",
"interval": 1
},
"name": "SybaseToBlob"
}
],
"start": "2014-06-01T18:00:00Z",
"end": "2014-06-01T19:00:00Z"
}
}
Pemetaan jenis data untuk Sybase
Seperti disebutkan dalam artikel Aktivitas Pergerakan Data, Aktivitas Salin melakukan konversi jenis otomatis dari jenis sumber ke jenis sink dengan pendekatan 2 langkah berikut:
- Konversi dari jenis sumber asli menjadi jenis .NET
- Konversi dari jenis .NET ke jenis sink asli
Sybase mendukung jenis T-SQL dan T-SQL. Untuk tabel pemetaan dari jenis sql ke jenis .NET, lihat artikel Konektor Azure SQL.
Memetakan sumber untuk kolom sink
Untuk mempelajari tentang pemetaan kolom dari himpunan data sumber ke kolom dalam himpunan data sink, lihat Memetakan kolom himpunan data di Azure Data Factory.
Bacaan berulang dari sumber relasional
Saat menyalin data dari penyimpanan data relasional, ingatlah pengulangan untuk menghindari hasil yang tidak diinginkan. Di Azure Data Factory, Anda dapat menjalankan ulang irisan secara manual. Anda juga dapat mengonfigurasi kebijakan coba lagi untuk himpunan data sehingga irisan diulang saat kegagalan terjadi. Saat irisan diulang dengan cara apa pun, Anda perlu memastikan bahwa data yang sama dibaca tidak peduli berapa kali irisan dijalankan. Lihat Bacaan yang dapat diulang dari sumber relasional.
Kinerja dan Penyetelan
Lihat Performa Aktivitas Penyalinan & Panduan Pengaturan untuk mempelajari tentang faktor utama yang memengaruhi performa perpindahan data (Aktivitas Penyalinan) di Azure Data Factory dan berbagai cara untuk mengoptimalkannya.