Transformasi panggilan eksternal dalam memetakan aliran data

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Aliran data tersedia di Alur Azure Data Factory dan Azure Synapse. Artikel ini berlaku untuk memetakan aliran data. Jika Anda baru mengenal transformasi, silakan lihat artikel pengantar Transformasi data menggunakan aliran data pemetaan.

Transformasi panggilan eksternal memungkinkan insinyur data memanggil titik akhir REST eksternal baris demi baris untuk menambahkan hasil kustom atau pihak ketiga ke dalam aliran data Anda.

Konfigurasi

Di panel konfigurasi transformasi panggilan eksternal, pertama-tama Anda akan memilih jenis titik akhir eksternal yang ingin disambungkan. Langkah selanjutnya adalah memetakan kolom masuk. Terakhir, tentukan struktur data output yang akan dikonsumsi oleh transformasi hilir.

Pengaturan

Pilih jenis himpunan data sebaris dan layanan tertaut terkait. Saat ini, hanya REST yang didukung. Namun, prosedur tersimpan SQL dan jenis layanan tertaut lainnya juga akan tersedia. Lihat Konfigurasi sumber REST untuk penjelasan tentang properti pengaturan.

Pemetaan

Anda dapat memilih pemetaan otomatis untuk meneruskan semua kolom input ke titik akhir. Secara opsional, Anda dapat mengatur kolom secara manual dan mengganti nama kolom yang dikirim ke titik akhir target di sini.

Hasil

Di sini Anda akan menentukan struktur data untuk output panggilan eksternal. Anda dapat menentukan struktur untuk isi serta memilih cara menyimpan header dan status yang dikembalikan dari panggilan eksternal.

Jika Anda memilih untuk menyimpan isi, header, dan status, pertama-tama pilih nama kolom untuk masing-masing sehingga dapat digunakan oleh transformasi data hilir.

Anda dapat menentukan struktur data isi secara manual menggunakan sintaks aliran data ADF. Untuk menentukan nama kolom dan jenis data atau mengeklik "proyeksi impor" dan mengizinkan ADF mendeteksi output skema dari panggilan eksternal. Berikut adalah contoh struktur definisi skema sebagai output dari panggilan GET REST API cuaca:

({@context} as string[],
		geometry as (coordinates as string[][][],
		type as string),
		properties as (elevation as (unitCode as string,
		value as string),
		forecastGenerator as string,
		generatedAt as string,
		periods as (detailedForecast as string, endTime as string, icon as string, isDaytime as string, name as string, number as string, shortForecast as string, startTime as string, temperature as string, temperatureTrend as string, temperatureUnit as string, windDirection as string, windSpeed as string)[],
		units as string,
		updateTime as string,
		updated as string,
		validTimes as string),
		type as string)

Contoh

Sampel termasuk skrip aliran data

source(output(
		id as string
	),
	allowSchemaDrift: true,
	validateSchema: false,
	ignoreNoFilesFound: false) ~> source1
Filter1 call(mapColumn(
		id
	),
	skipDuplicateMapInputs: false,
	skipDuplicateMapOutputs: false,
	output(
		headers as [string,string],
		body as (name as string)
	),
	allowSchemaDrift: true,
	store: 'restservice',
	format: 'rest',
	timeout: 30,
	httpMethod: 'POST',
	entity: 'api/Todo/',
	requestFormat: ['type' -> 'json'],
	responseFormat: ['type' -> 'json', 'documentForm' -> 'documentPerLine']) ~> ExternalCall1
source1 filter(toInteger(id)==1) ~> Filter1
ExternalCall1 sink(allowSchemaDrift: true,
	validateSchema: false,
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true,
	store: 'cache',
	format: 'inline',
	output: false,
	saveOrder: 1) ~> sink1

Skrip aliran data

ExternalCall1 sink(allowSchemaDrift: true,
	validateSchema: false,
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true,
	store: 'cache',
	format: 'inline',
	output: false,
	saveOrder: 1) ~> sink1

Konten terkait

• Gunakan transformasi Ratakan untuk pivot baris ke kolom.
• Gunakan Transformasi kolom turunan untuk mengubah baris.
• Lihat sumber REST untuk informasi lebih lanjut tentang pengaturan REST.