Memantau Azure Data Factory secara visual

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Setelah Anda membuat dan menerbitkan alur di Azure Data Factory, Anda dapat mengaitkannya dengan pemicu atau memulai eksekusi ad hoc secara manual. Anda dapat memantau semua eksekusi alur secara native dalam pengalaman pengguna Azure Data Factory. Untuk membuka pengalaman pemantauan, pilih petak peta Pantau & Kelola di bilah pabrik data portal Microsoft Azure. Jika Anda sudah berada di ADF UX, pilih ikon Pantau di bilah samping kiri.

Secara default, semua eksekusi pabrik data ditampilkan di zona waktu lokal browser. Jika Anda mengubah zona waktu, semua bidang tanggal/waktu diposisikan ke yang Anda pilih.

Memantau eksekusi alur

Tampilan pemantauan default adalah daftar eksekusi alur yang dipicu berjalan dalam periode waktu yang dipilih. Anda dapat mengubah rentang waktu dan memfilter menurut status, nama alur, atau anotasi. Arahkan kursor ke eksekusi alur tertentu untuk mendapatkan tindakan khusus eksekusi, seperti eksekusi ulang dan laporan penggunaan.

Tampilan daftar untuk memantau eksekusi alur

Kisi eksekusi alur berisi kolom berikut:

Nama kolom Deskripsi
Nama Alur Nama alur
Awal Eksekusi Tanggal dan waktu mulai eksekusi alur (MM/DD/YYYY, HH:MM:SS AM/PM)
Akhir Eksekusi Tanggal dan waktu akhir eksekusi alur (MM/DD/YYYY, HH:MM:SS AM/PM)
Durasi Durasi eksekusi (HH:MM:SS)
Dipicu Oleh Nama pemicu yang memulai alur
Status Gagal, Berhasil, Sedang Berlangsung, Dibatalkan, atau Antri
Anotasi Tag yang dapat difilter yang dikaitkan dengan alur
Parameter Parameter untuk eksekusi alur (pasangan nama/nilai)
Kesalahan Jika alur gagal, kesalahan eksekusi
ID Eksekusi ID eksekusi alur

Anda perlu memilih tombol Refresh secara manual untuk menyegarkan daftar eksekusi alur dan aktivitas. Refresh otomatis saat ini tidak didukung.

Tombol Refresh

Untuk melihat hasil eksekusi debug, pilih tab Debug.

Pilih ikon Tampilkan eksekusi debug yang aktif

Memantau eksekusi aktivitas

Untuk mendapatkan tampilan mendetail setiap eksekusi aktivitas dari eksekusi alur tertentu, klik nama alur.

Melihat eksekusi aktivitas

Tampilan daftar memperlihatkan eksekusi aktivitas yang sesuai dengan tiap eksekusi alur. Arahkan kursor ke eksekusi aktivitas tertentu untuk mendapatkan informasi khusus eksekusi seperti input JSON, output JSON, dan pengalaman pemantauan khusus aktivitas terperinci.

Ada informasi tentang SalesAnalyticsMLPipeline, yang diikuti oleh daftar eksekusi aktivitas.

Nama kolom Deskripsi
Nama Aktivitas Nama aktivitas di dalam alur
Jenis Aktivitas Jenis aktivitas, seperti Salin, ExecuteDataFlow, atau AzureMLExecutePipeline
Tindakan Ikon yang memungkinkan Anda melihat informasi input JSON, informasi output JSON, atau pengalaman pemantauan khusus aktivitas terperinci
Awal Eksekusi Tanggal dan waktu mulai eksekusi aktivitas (MM/DD/YYYY, HH:MM:SS AM/PM)
Durasi Durasi eksekusi (HH:MM:SS)
Status Gagal, Berhasil, Sedang Berlangsung, atau Dibatalkan
Integration Runtime Integration Runtime tempat aktivitas dijalankan
Properti Pengguna Properti aktivitas yang ditentukan pengguna
Kesalahan Jika aktivitas gagal, kesalahan eksekusi
ID Eksekusi ID eksekusi aktivitas

Jika aktivitas gagal, Anda dapat melihat pesan kesalahan mendetail dengan mengklik ikon di kolom kesalahan.

Pemberitahuan muncul disertai detail kesalahan termasuk kode galat, jenis kegagalan, dan detail kesalahan.

Mempromosikan properti pengguna untuk dipantau

Promosikan properti aktivitas alur apa pun sebagai properti pengguna sehingga menjadi entitas yang Anda pantau. Misalnya, Anda dapat mempromosikan properti Sumber dan Tujuan dari aktivitas penyalinan di alur Anda sebagai properti pengguna.

Catatan

Anda hanya dapat mempromosikan hingga lima properti aktivitas alur sebagai properti pengguna.

Membuat properti pengguna

Setelah membuat properti pengguna, Anda dapat memantaunya dalam tampilan daftar pemantauan.

Menambahkan kolom untuk properti pengguna ke daftar eksekusi aktivitas

Jika sumber untuk aktivitas penyalinan adalah nama tabel, Anda dapat memantau nama tabel sumber sebagai kolom dalam tampilan daftar eksekusi aktivitas.

Daftar eksekusi aktivitas dengan kolom untuk properti pengguna

Menjalankan ulang alur dan aktivitas

Perilaku eksekusi ulang aktivitas kontainer adalah sebagai berikut:

  • Wait- Aktivitas akan berperilaku seperti sebelumnya.
  • Set Variable- Aktivitas akan berperilaku seperti sebelumnya.
  • Filter- Aktivitas akan berperilaku seperti sebelumnya.
  • Until Aktivitas akan mengevaluasi ekspresi dan akan mengulang hingga kondisi terpenuhi. Aktivitas dalam masih dapat dilewati berdasarkan aturan operasi ulang.
  • Foreach Aktivitas akan selalu mengulang pada item yang diterimanya. Aktivitas dalam masih dapat dilewati berdasarkan aturan operasi ulang.
  • If and switch - Kondisi akan selalu dievaluasi. Aktivitas dalam masih dapat dilewati berdasarkan aturan operasi ulang.
  • Execute pipeline activity - Alur anak akan dipicu, tetapi semua aktivitas dalam alur anak mungkin masih dilompati berdasarkan aturan eksekusi ulang.

Untuk menjalankan ulang alur yang sebelumnya dijalankan dari awal, arahkan kursor ke eksekusi alur tertentu, lalu pilih Jalankan ulang. Jika memilih beberapa alur, Anda dapat menggunakan tombol Jalankan ulang untuk menjalankan semuanya.

Menjalankan ulang alur

Jika ingin menjalankan ulang dimulai dari titik tertentu, Anda dapat melakukannya dari tampilan eksekusi aktivitas. Pilih aktivitas yang ingin dimulai dan pilih Jalankan Ulang dari aktivitas.

Menjalankan ulang eksekusi aktivitas

Menjalankan ulang dari aktivitas yang gagal

Jika aktivitas gagal, waktunya habis, atau dibatalkan, Anda dapat menjalankan ulang alur dari aktivitas yang gagal tersebut dengan memilih Jalankan ulang dari aktivitas yang gagal.

Menjalankan ulang aktivitas yang gagal

Melihat riwayat eksekusi ulang

Anda dapat melihat riwayat eksekusi ulang untuk semua eksekusi alur dalam tampilan daftar.

Melihat riwayat

Anda juga dapat melihat riwayat eksekusi ulang untuk eksekusi alur tertentu.

Melihat riwayat eksekusi alur

Memantau pemakaian

Anda dapat melihat sumber daya yang digunakan oleh eksekusi alur dengan mengklik ikon penggunaan di samping eksekusi.

Cuplikan layar yang memperlihatkan tempat Anda dapat melihat sumber daya yang digunakan oleh alur.

Mengklik ikon akan membuka laporan penggunaan sumber daya yang digunakan oleh eksekusi alur tersebut.

Memantau pemakaian

Anda dapat menyambungkan nilai ini ke kalkulator harga Azure untuk memperkirakan biaya eksekusi alur. Untuk informasi selengkapnya tentang harga Azure Data Factory, lihat Memahami harga.

Catatan

Nilai yang ditampilkan oleh kalkulator harga ini adalah perkiraan. Nilai ini tidak mencerminkan jumlah pasti Anda akan ditagihkan oleh Azure Data Factory

Tampilan Gantt

Bagan Gantt adalah tampilan yang memungkinkan Anda melihat riwayat eksekusi dalam rentang waktu tertentu. Dengan beralih ke tampilan Gantt, Anda akan melihat semua eksekusi alur yang dikelompokkan menurut nama yang ditampilkan sebagai bilah relatif terhadap durasi yang dibutuhkan eksekusi. Anda juga dapat mengelompokkan berdasarkan anotasi/tag yang telah Anda buat di alur Anda. Tampilan Gantt juga tersedia di tingkat eksekusi aktivitas.

Contoh bagan Gantt

Panjang bilah menginformasikan durasi alur. Anda juga dapat memilih bilah untuk melihat detail selengkapnya.

Durasi bagan Gantt

Peringatan

Anda dapat menaikkan peringatan pada metrik yang didukung di Data Factory. Pilih Pantau > Peringatan & metrik pada halaman pemantauan Data Factory untuk memulai.

Halaman Pemantauan pabrik data

Untuk pengantar dan demonstrasi fitur selama tujuh menit, tonton video berikut:

Membuat peringatan

  1. Pilih Aturan peringatan baru untuk membuat peringatan baru.

    Tombol Aturan Peringatan Baru

  2. Tentukan nama aturan dan pilih tingkat keparahan peringatan.

    Kotak untuk nama aturan dan tingkat keparahan

  3. Pilih kriteria peringatan.

    Kotak untuk kriteria target

    Cuplikan layar yang memperlihatkan tempat Anda memilih satu metrik untuk menyiapkan kondisi peringatan.

    Daftar kriteria

    Anda dapat membuat peringatan di berbagai metrik, termasuk untuk jumlah/ukuran entitas ADF, eksekusi aktivitas/alur/pemicu, penggunaan/memori/jumlah simpul/antrean Integration Runtime (IR) CPU, serta untuk eksekusi paket SSIS, dan operasi memulai/hentikan SSIS IR.

  4. Mengonfigurasi logika peringatan. Anda dapat membuat peringatan untuk metrik yang dipilih untuk semua alur dan aktivitas terkait. Anda juga dapat memilih jenis aktivitas, nama aktivitas, nama alur, atau jenis kegagalan tertentu.

    Opsi untuk mengonfigurasi logika peringatan

  5. Konfigurasikan email, SMS, push, dan peringatan suara untuk peringatan tersebut. Buat grup tindakan, atau pilih yang sudah ada, untuk pemberitahuan peringatan.

    Opsi untuk mengonfigurasi pemberitahuan

    Opsi untuk menambahkan pemberitahuan

  6. Buat aturan peringatan.

    Opsi untuk membuat aturan peringatan

Langkah berikutnya

Untuk mempelajari cara memantau dan mengelola alur, lihat Memantau dan mengelola alur secara terprogram.