Wizualne monitorowanie fabryk danych platformy Azure

  • Artykuł

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Po utworzeniu i opublikowaniu potoku w usłudze Azure Data Factory możesz skojarzyć go z wyzwalaczem lub ręcznie uruchomić uruchamianie ad hoc. Wszystkie uruchomienia potoku można monitorować natywnie w środowisku użytkownika usługi Azure Data Factory. Aby otworzyć środowisko monitorowania, wybierz kafelek Monitorowanie i zarządzanie w bloku fabryki danych w witrynie Azure Portal. Jeśli jesteś już w środowisku użytkownika usługi ADF, kliknij ikonę Monitor na lewym pasku bocznym.

Domyślnie wszystkie przebiegi fabryki danych są wyświetlane w lokalnej strefie czasowej przeglądarki. Jeśli zmienisz strefę czasową, wszystkie pola daty/godziny zostaną dopasowane do wybranej strefy czasowej.

Monitorowanie uruchomień potoku

Domyślny widok monitorowania to lista wyzwolonych przebiegów potoków w wybranym okresie. Możesz zmienić zakres czasu i filtrować przebiegi według stanu, nazwy potoku lub adnotacji. Zatrzymaj wskaźnik myszy na określonym przebiegu potoku, aby uzyskać akcje specyficzne dla przebiegu, takie jak ponowne uruchamianie i raport użycia.

Screenshot of list view for monitoring pipeline runs.

Siatka uruchamiania potoku zawiera następujące kolumny:

Nazwa kolumny Opis
Nazwa potoku Nazwa potoku
Rozpoczęcie uruchamiania Data i godzina rozpoczęcia przebiegu potoku (MM/DD/RRRR, GG:MM:SS AM/PM)
Zakończenie przebiegu Data i godzina zakończenia przebiegu potoku (MM/DD/RRRR, GG:MM:SS AM/PM)
Czas trwania Czas trwania przebiegu (HH:MM:SS)
Wyzwolone przez Nazwa wyzwalacza, który uruchomił potok
Stan Niepowodzenie, powodzenie, w toku, anulowane lub w kolejce
Adnotacje Tagi z możliwością filtrowania skojarzone z potokiem
Parametry Parametry przebiegu potoku (pary nazwa/wartość)
Błąd Jeśli potok nie powiedzie się, błąd uruchomienia
Uruchom Oryginalny, uruchom ponownie lub uruchom ponownie (najnowsza wersja)
Identyfikator przebiegu Identyfikator przebiegu potoku

Aby odświeżyć listę przebiegów potoku i działań, musisz ręcznie wybrać przycisk Odśwież . Autorefresh nie jest obecnie obsługiwany.

Screenshot of refresh button.

Aby wyświetlić wyniki przebiegu debugowania, wybierz kartę Debugowanie .

Screenshot of the view active debug runs icon.

Monitorowanie uruchomień działania

Aby uzyskać szczegółowy widok poszczególnych uruchomień działań określonego przebiegu potoku, kliknij nazwę potoku.

Screenshot of view activity runs.

Widok listy zawiera uruchomienia działań, które odpowiadają każdemu uruchomieniu potoku. Zatrzymaj wskaźnik myszy na określonym uruchomieniu działania, aby uzyskać informacje specyficzne dla przebiegu, takie jak dane wejściowe JSON, dane wyjściowe JSON i szczegółowe środowiska monitorowania specyficzne dla działania.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Nazwa kolumny Opis
Nazwa działania Nazwa działania wewnątrz potoku
Typ działania Typ działania, takiego jak Copy, ExecuteDataFlow lub AzureMLExecutePipeline
Akcje Ikony, które umożliwiają wyświetlanie informacji wejściowych JSON, informacji wyjściowych JSON lub szczegółowych środowisk monitorowania specyficznych dla działania
Rozpoczęcie uruchamiania Data i godzina rozpoczęcia uruchomienia działania (MM/DD/RRRR, HH:MM:SS AM/PM)
Czas trwania Czas trwania przebiegu (HH:MM:SS)
Stan Niepowodzenie, powodzenie, w toku lub anulowane
Środowisko Integration Runtime Na którym środowisku Integration Runtime uruchomiono działanie
Właściwości użytkownika Właściwości zdefiniowane przez użytkownika działania
Błąd Jeśli działanie nie powiodło się, błąd uruchomienia
Identyfikator przebiegu Identyfikator przebiegu działania

Jeśli działanie nie powiodło się, możesz wyświetlić szczegółowy komunikat o błędzie, klikając ikonę w kolumnie błędu.

Screenshot of a notification with error details including error code, failure type, and error details.

Podwyższanie poziomu właściwości użytkownika do monitorowania

Podwyższ poziom dowolnej właściwości działania potoku, na przykład właściwości użytkownika, aby stała się monitorowanym obiektem. Na przykład możesz podwyższyć poziom właściwości Źródło i Miejsce docelowe działania kopiowania w potoku jako właściwości użytkownika.

Uwaga

Można podwyższyć poziom tylko do pięciu właściwości działania potoku jako właściwości użytkownika.

Screenshot of create user properties.

Po utworzeniu właściwości użytkownika można je monitorować w widokach listy monitorowania.

Screenshot of add columns for user properties to the activity runs list.

Jeśli źródłem działania kopiowania jest nazwa tabeli, możesz monitorować nazwę tabeli źródłowej jako kolumnę w widoku listy dla przebiegów działań.

Screenshot of activity runs list with columns for user properties.

Ponowne uruchamianie potoków i działań

Ponowne uruchamianie działań kontenera jest następujące:

  • Wait- Działanie będzie zachowywać się tak jak wcześniej.
  • Set Variable - Działanie będzie zachowywać się tak jak wcześniej.
  • Filter - Działanie będzie zachowywać się tak jak wcześniej.
  • Until Działanie obliczy wyrażenie i będzie wykonywane w pętli do momentu spełnienia warunku. Działania wewnętrzne mogą być nadal pomijane zgodnie z regułami ponownego uruchamiania.
  • Foreach Działanie zawsze będzie wykonywane w pętli na otrzymanych elementach. Działania wewnętrzne mogą być nadal pomijane zgodnie z regułami ponownego uruchamiania.
  • If and switch - Warunki będą zawsze oceniane. Wszystkie działania wewnętrzne zostaną ocenione. Działania wewnętrzne mogą być nadal pomijane na podstawie reguł ponownego uruchamiania, ale elementy, takie jak Execute Pipeline, zostaną uruchomione ponownie.
  • Execute pipeline activity — Potok podrzędny zostanie wyzwolony, ale wszystkie działania w potoku podrzędnym mogą być nadal pomijane na podstawie reguł ponownego uruchamiania.

Aby ponownie uruchomić potok, który został wcześniej uruchomiony od początku, umieść kursor na określonym przebiegu potoku i wybierz pozycję Uruchom ponownie. Jeśli wybierzesz wiele potoków, możesz użyć przycisku Uruchom ponownie , aby uruchomić je wszystkie.

Screenshot of rerun a pipeline.

Jeśli chcesz ponownie uruchomić polecenie, zaczynając od określonego punktu, możesz to zrobić w widoku uruchomień działań. Wybierz działanie, od którego chcesz rozpocząć, i wybierz pozycję Uruchom ponownie z działania.

Screenshot of rerun an activity run.

Możesz również ponownie uruchomić potok i zmienić parametry. Wybierz przycisk Nowe parametry, aby zmienić parametry.

Screenshot of rerun an activity run with new parameters.

Uwaga

Ponowne uruchomienie potoku z nowymi parametrami zostanie uznane za nowe uruchomienie potoku, więc nie będzie wyświetlane w obszarze ponownego uruchamiania grupowania dla uruchomienia potoku.

Ponowne uruchamianie działania zakończonego niepowodzeniem

Jeśli działanie zakończy się niepowodzeniem lub zostanie anulowane, możesz ponownie uruchomić potok z poziomu tego działania zakończonego niepowodzeniem, wybierając pozycję Uruchom ponownie z poziomu działania, które zakończyło się niepowodzeniem.

Screenshot of rerun failed activity.

Wyświetlanie historii ponownego uruchomiania

Możesz wyświetlić historię ponownego uruchamiania dla wszystkich przebiegów potoku w widoku listy.

Screenshot of view history.

Można również wyświetlić historię ponownego uruchamiania dla określonego uruchomienia potoku.

Screenshot of view history for a pipeline run.

Monitorowanie użycia

Zasoby używane przez przebieg potoku można wyświetlić, klikając ikonę zużycia obok przebiegu.

Screenshot that shows where you can see the resources consumed by a pipeline.

Kliknięcie ikony powoduje otwarcie raportu użycia zasobów używanych przez uruchomienie tego potoku.

Screenshot of monitor consumption.

Możesz podłączyć te wartości do kalkulatora cen platformy Azure, aby oszacować koszt uruchomienia potoku. Aby uzyskać więcej informacji na temat cennika usługi Azure Data Factory, zobacz Omówienie cen.

Uwaga

Te wartości zwracane przez kalkulator cen to oszacowanie. Nie odzwierciedla on dokładnej kwoty naliczanej przez usługę Azure Data Factory

Widoki wykresu Gantta

Wykres Gantta to widok, który umożliwia wyświetlanie historii przebiegów w zakresie czasu. Po przełączeniu się do widoku Gantta widać wszystkie przebiegi potoku pogrupowane według nazw wyświetlanych jako paski wskazujące, jak długo trwał dany przebieg. Możesz również grupować według adnotacji/tagów utworzonych w potoku. Widok Gantta jest również dostępny na poziomie uruchomienia działania.

Screenshot of an example of a Gantt chart.

Długość paska informuje o czasie trwania potoku. Możesz również wybrać pasek, aby wyświetlić więcej szczegółów.

Screenshot of a Gantt chart duration.

Alerty

Dla obsługiwanych metryk w usłudze Data Factory można skonfigurować alerty. Wybierz pozycję Monitoruj>alerty i metryki na stronie monitorowania usługi Data Factory, aby rozpocząć pracę.

Screenshot of the Data factory Monitor page.

Aby zapoznać się z siedmiominutowym wprowadzeniem i pokazem tej funkcji, obejrzyj następujący film wideo:

Tworzenie alertów

  1. Wybierz pozycję Nowa reguła alertu, aby utworzyć nowy alert.

    Screenshot of New Alert Rule button.

  2. Określ nazwę reguły i wybierz ważność alertu.

    Screenshot of boxes for rule name and severity.

  3. Wybierz kryteria alertu.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    Możesz tworzyć alerty dotyczące różnych metryk, w tym dla liczby jednostek usługi ADF,rozmiaru, przebiegów działania/potoku/wyzwalacza, wykorzystania procesora CPU środowiska Integration Runtime (IR), pamięci/liczby węzłów/kolejki, a także wykonań pakietów usług SSIS i operacji uruchamiania/zatrzymywania środowiska SSIS IR.

  4. Skonfiguruj logikę alertu. Możesz utworzyć alert dla wybranej metryki dla wszystkich potoków i odpowiednich działań. Możesz również wybrać określony typ działania, nazwę działania, nazwę potoku lub typ błędu.

    Screenshot of options for configuring alert logic.

  5. Skonfiguruj powiadomienia e-mail, SMS, wypychane i głosowe dla alertu. Utwórz grupę akcji lub wybierz istniejącą dla powiadomień o alertach.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Utwórz regułę alertu.

    Screenshot of options for creating an alert rule.

Powiązana zawartość

Aby dowiedzieć się więcej na temat monitorowania potoków i zarządzania nimi, zobacz artykuł Monitorowanie potoków i zarządzanie nimi programowo .