Azure Data Factory’yi görsel olarak izleme

Makale
01/05/2024

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Azure Data Factory'de bir işlem hattı oluşturup yayımladıktan sonra bunu bir tetikleyiciyle ilişkilendirebilir veya geçici çalıştırmayı el ile başlatabilirsiniz. Azure Data Factory kullanıcı deneyiminde tüm işlem hattı çalıştırmalarınızı yerel olarak izleyebilirsiniz. İzleme deneyimini açmak için Azure portalının veri fabrikası dikey penceresindeki İzleyici ve Yönet kutucuğunu seçin. Zaten ADF UX'deyseniz sol kenar çubuğundaki İzleyici simgesine tıklayın.

Varsayılan olarak tüm veri fabrikası çalıştırmaları tarayıcının yerel saat diliminde görüntülenir. Saat dilimini değiştirirseniz, tüm tarih/saat alanları seçtiğiniz saat dilimine ayarlanır.

İşlem hattı çalıştırmalarını izleme

Varsayılan izleme görünümü, seçilen zaman aralığında tetiklenen işlem hattı çalıştırmalarının listesidir. Zaman aralığını değiştirebilir ve duruma, işlem hattı adına veya ek açıklamaya göre filtreleyebilirsiniz. Yeniden çalıştırma ve tüketim raporu gibi çalıştırmaya özgü eylemleri almak için belirli işlem hattı çalıştırmasının üzerine gelin.

Screenshot of list view for monitoring pipeline runs.

İşlem hattı çalıştırma kılavuzu aşağıdaki sütunları içerir:

Sütun adı	Açıklama
İşlem Hattı Adı	İşlem hattının adı
Çalıştırma Başlangıcı	İşlem hattı çalıştırmasının başlangıç tarihi ve saati (AA/GG/YYYY, SS:DD:SS AM/PM)
Çalıştırma Ucu	İşlem hattı çalıştırmasının bitiş tarihi ve saati (AA/GG/YYYY, SS:DD:SS AM/PM)
Duration	Çalıştırma süresi (SS:DD:SS)
Tetikleyen	İşlem hattını başlatan tetikleyicinin adı
Durum	Başarısız, Başarılı, Devam Ediyor, İptal Edildi veya Kuyruğa Alındı
Ek Açıklamalar	İşlem hattıyla ilişkili filtrelenebilir etiketler
Parametreler	İşlem hattı çalıştırması parametreleri (ad/değer çiftleri)
Hata	İşlem hattı başarısız olursa çalıştırma hatası
Çalıştır	Özgün, Yeniden Çalıştır veya Yeniden Çalıştır (En Son)
Çalıştırma kimliği	İşlem hattı çalıştırmasının kimliği

İşlem hattı ve etkinlik çalıştırmaları listesini yenilemek için Yenile düğmesini el ile seçmeniz gerekir. Autorefresh şu anda desteklenmiyor.

Screenshot of refresh button.

Hata ayıklama çalıştırmasının sonuçlarını görüntülemek için Hata Ayıkla sekmesini seçin.

Screenshot of the view active debug runs icon.

Etkinlik çalıştırmalarını izleme

Belirli bir işlem hattı çalıştırmasının tek tek etkinlik çalıştırmalarının ayrıntılı bir görünümünü almak için işlem hattı adına tıklayın.

Screenshot of view activity runs.

Liste görünümü, her işlem hattı çalıştırmasına karşılık gelen etkinlik çalıştırmalarını gösterir. JSON girişi, JSON çıkışı ve etkinliğe özgü ayrıntılı izleme deneyimleri gibi çalıştırmaya özgü bilgileri almak için belirli etkinlik çalıştırmasının üzerine gelin.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Sütun adı	Açıklama
Etkinlik Adı	İşlem hattı içindeki etkinliğin adı
Etkinlik Türü	Kopyalama, ExecuteDataFlow veya AzureMLExecutePipeline gibi etkinliğin türü
Eylemler	JSON giriş bilgilerini, JSON çıkış bilgilerini veya etkinliğe özgü ayrıntılı izleme deneyimlerini görmenizi sağlayan simgeler
Çalıştırma Başlangıcı	Etkinlik çalıştırması için başlangıç tarihi ve saati (AA/GG/YYYY, SS:AA:SS AM/PM)
Duration	Çalıştırma süresi (SS:DD:SS)
Durum	Başarısız, Başarılı, Devam Ediyor veya İptal Edildi
Tümleştirme Çalışma Zamanı	Etkinliğin çalıştırıldığı Integration Runtime
Kullanıcı Özellikleri	Etkinliğin kullanıcı tanımlı özellikleri
Hata	Etkinlik başarısız olursa çalıştırma hatası
Çalıştırma kimliği	Etkinlik çalıştırmasının kimliği

Bir etkinlik başarısız olduysa, hata sütunundaki simgeye tıklayarak ayrıntılı hata iletisini görebilirsiniz.

Screenshot of a notification with error details including error code, failure type, and error details.

İzlemek için kullanıcı özelliklerini yükseltme

Herhangi bir işlem hattı etkinliği özelliğini bir kullanıcı özelliği olarak yükseltip izlediğiniz bir varlığa dönüşmesini sağlayın. Örneğin işlem hattınızdaki kopyalama etkinliğinin Kaynak ve Hedef özelliklerini kullanıcı özellikleri olarak yükseltebilirsiniz.

Dekont

Kullanıcı özellikleri olarak en fazla beş işlem hattı etkinliği özelliği yükseltebilirsiniz.

Screenshot of create user properties.

Kullanıcı özelliklerini oluşturduktan sonra, bunları izleme listesi görünümlerinde izleyebilirsiniz.

Screenshot of add columns for user properties to the activity runs list.

Kopyalama etkinliğinin kaynağı bir tablo adıysa, etkinlik çalıştırmaları için kaynak tablo adını liste görünümünde sütun olarak izleyebilirsiniz.

Screenshot of activity runs list with columns for user properties.

İşlem hatları ve etkinlikleri yeniden çalıştırma

Kapsayıcı etkinliklerinin yeniden çalıştırma davranışı aşağıdaki gibidir:

Wait- Etkinlik önceki gibi davranır.
Set Variable - Etkinlik önceki gibi davranır.
Filter - Etkinlik önceki gibi davranır.
Until Etkinlik ifadeyi değerlendirir ve koşul karşılanana kadar döngü yapar. Yine de iç etkinlikler yeniden çalıştırma kurallarına göre atlanabilir.
Foreach Etkinlik her zaman aldığı öğelerde döngü yapar. Yine de iç etkinlikler yeniden çalıştırma kurallarına göre atlanabilir.
If and switch - Koşullar her zaman değerlendirilir. Tüm iç etkinlikler değerlendirilir. İç etkinlikler yine de yeniden çalıştırma kurallarına göre atlanabilir, ancak İşlem Hattını Yürüt gibi acities yeniden çalıştırılır.
Execute pipeline activity - Alt işlem hattı tetiklenir, ancak alt işlem hattındaki tüm etkinlikler yine de yeniden çalıştırma kurallarına göre atlanabilir.

Daha önce baştan çalıştırılmış bir işlem hattını yeniden çalıştırmak için, belirli işlem hattı çalıştırmasının üzerine gelin ve Yeniden Çalıştır'ı seçin. Birden çok işlem hattı seçerseniz, tümünü çalıştırmak için Yeniden Çalıştır düğmesini kullanabilirsiniz.

Screenshot of rerun a pipeline.

Belirli bir noktadan başlayarak yeniden çalıştırmak isterseniz, bunu etkinlik çalıştırmaları görünümünden yapabilirsiniz. Başlamak istediğiniz etkinliği seçin ve Etkinlikten yeniden çalıştır'ı seçin.

Screenshot of rerun an activity run.

Ayrıca işlem hattını yeniden çalıştırabilir ve parametreleri değiştirebilirsiniz. Parametreleri değiştirmek için Yeni parametreler düğmesini seçin.

Screenshot of rerun an activity run with new parameters.

Dekont

Yeni parametrelerle bir işlem hattının yeniden çalıştırılması yeni bir işlem hattı çalıştırması olarak kabul edilir, bu nedenle işlem hattı çalıştırması için yeniden çalıştırma gruplandırmalarında gösterilmez.

Başarısız etkinlikten yeniden çalıştırma

Etkinlik başarısız olursa, zaman aşımına uğrarsa veya iptal edilirse, başarısız etkinlikte Yeniden Çalıştır'ı seçerek işlem hattını bu başarısız etkinlikten başlayarak yeniden çalıştırabilirsiniz.

Screenshot of rerun failed activity.

Yeniden çalıştırma geçmişini görüntüleme

Liste görünümünde tüm işlem hattı çalıştırmalarının yeniden çalıştırma geçmişini görüntüleyebilirsiniz.

Screenshot of view history.

Ayrıca, belirli bir işlem hattı çalıştırması için yeniden çalıştırma geçmişini de görüntüleyebilirsiniz.

Screenshot of view history for a pipeline run.

Tüketimi izleme

Bir işlem hattı çalıştırması tarafından kullanılan kaynakları, çalıştırmanın yanındaki tüketim simgesine tıklayarak görebilirsiniz.

Screenshot that shows where you can see the resources consumed by a pipeline.

Simgeye tıklanması, işlem hattı çalıştırması tarafından kullanılan kaynakların tüketim raporunu açar.

Screenshot of monitor consumption.

İşlem hattı çalıştırmasının maliyetini tahmin etmek için bu değerleri Azure fiyatlandırma hesaplayıcısına takabilirsiniz. Azure Data Factory fiyatlandırması hakkında daha fazla bilgi için bkz . Fiyatlandırmayı anlama.

Dekont

Fiyatlandırma hesaplayıcısı tarafından döndürülen bu değerler bir tahmindir. Azure Data Factory tarafından faturalandırılacak tutarı tam olarak yansıtmaz

Gantt görünümleri

Gantt grafiği, bir zaman aralığındaki çalıştırma geçmişini görmenizi sağlayan bir görünümdür. Gantt görünümüne geçerek, çalıştırmanın süresini yansıtan çubuklar halinde görüntülenen, ada göre gruplandırılmış tüm işlem hattı çalıştırmalarını görürsünüz. İşlem hattınızda oluşturduğunuz ek açıklamalara/etiketlere göre de gruplandırabilirsiniz. Gantt görünümü etkinlik çalıştırması düzeyinde de kullanılabilir.

Screenshot of an example of a Gantt chart.

Çubuğun uzunluğu işlem hattının süresini bildirir. Daha fazla ayrıntı görmek için çubuğu da seçebilirsiniz.

Screenshot of a Gantt chart duration.

Uyarılar

Data Factory'de desteklenen ölçümler üzerinde uyarılar oluşturabilirsiniz. Başlamak için Data Factory izleme sayfasında Uyarıları ve ölçümleri İzle'yi>seçin.

Screenshot of the Data factory Monitor page.

Bu özelliğin yedi dakikalık tanıtımı ve tanıtımı için aşağıdaki videoyu izleyin:

Uyarı oluşturma

Yeni uyarı oluşturmak için Yeni uyarı kuralı'nı seçin.
Kural adını belirtin ve uyarı önem derecesini seçin.
Uyarı ölçütlerini seçin.

ADF varlık sayısı/boyutu, etkinlik/işlem hattı/tetikleyici çalıştırmaları, Integration Runtime (IR) CPU kullanımı/bellek/düğüm sayısı/kuyruğu ile SSIS paket yürütmeleri ve SSIS IR başlatma/durdurma işlemleri gibi çeşitli ölçümlerde uyarılar oluşturabilirsiniz.
Uyarı mantığını yapılandırın. Tüm işlem hatları ve ilgili etkinlikler için seçili ölçüm için bir uyarı oluşturabilirsiniz. Ayrıca belirli bir etkinlik türünü, etkinlik adını, işlem hattı adını veya hata türünü de seçebilirsiniz.
Uyarı için e-posta, SMS, anında iletme ve sesli bildirimleri yapılandırın. Uyarı bildirimleri için bir eylem grubu oluşturun veya mevcut bir eylem grubunu seçin.
Uyarı kuralını oluşturun.