Azure Data Factory visueel bewaken

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

Nadat u een pijplijn in Azure Data Factory hebt gemaakt en gepubliceerd, kunt u deze koppelen aan een trigger of handmatig een ad-hocuitvoering starten. U kunt al uw pijplijnuitvoeringen systeemeigen bewaken in de gebruikerservaring van Azure Data Factory. Als u de bewakingservaring wilt openen, selecteert u de tegel Controleren en beheren op de blade Data Factory van Azure Portal. Als u al in de ADF UX bent, klikt u op het monitorpictogram op de linkerzijbalk.

Standaard worden alle runs van Data Factory weergegeven in de lokale tijdzone van de browser. Als u de tijdzone wijzigt, worden alle datum- en tijdvelden aangepast aan de zone die u hebt geselecteerd.

Pijplijnuitvoeringen controleren

De standaardbewakingsweergave is een lijst met geactiveerde pijplijnuitvoeringen in de geselecteerde periode. U kunt het tijdsbereik wijzigen en filteren op status, pijplijnnaam of aantekening. Beweeg de muisaanwijzer over de specifieke pijplijnuitvoering om uitvoeringsspecifieke acties op te halen, zoals opnieuw uitvoeren en het verbruiksrapport.

Screenshot of list view for monitoring pipeline runs.

Het pijplijnuitvoeringsraster bevat de volgende kolommen:

Kolomnaam Beschrijving
Naam van de pijplijn Naam van de pijplijn
Begintijd van uitvoering Begindatum en -tijd voor de pijplijnuitvoering (MM/DD/JJJJ, UU:MM:SS AM/PM)
Einde van uitvoering Einddatum en -tijd voor de pijplijnuitvoering (MM/DD/JJJJ, UU:MM:SS AM/PM)
Duur Uitvoeringsduur (UU:MM:SS)
Geactiveerd door De naam van de trigger waarmee de pijplijn is gestart
Status Mislukt, geslaagd, wordt uitgevoerd, geannuleerd of in de wachtrij geplaatst
Aantekeningen Filterbare tags die zijn gekoppeld aan een pijplijn
Parameters Parameters voor de pijplijnuitvoering (naam/waardeparen)
Error Als de pijplijn is mislukt, wordt de uitvoeringsfout weergegeven
Uitvoeren Origineel, opnieuw uitvoeren of opnieuw uitvoeren (meest recente versie)
Uitvoerings-id Id van de pijplijnuitvoering

U moet handmatig de knop Vernieuwen selecteren om de lijst met pijplijn- en activiteitsuitvoeringen te vernieuwen. Autorefresh wordt momenteel niet ondersteund.

 Screenshot of refresh button.

Als u de resultaten van een foutopsporingsuitvoering wilt weergeven, selecteert u het tabblad Foutopsporing .

Screenshot of the view active debug runs icon.

Uitvoering van activiteiten controleren

Klik op de naam van de pijplijn om een gedetailleerde weergave te krijgen van de afzonderlijke activiteitsuitvoeringen van een specifieke pijplijnuitvoering.

Screenshot of view activity runs.

In de lijstweergave worden activiteitsuitvoeringen weergegeven die overeenkomen met elke pijplijnuitvoering. Beweeg de muisaanwijzer over de specifieke uitvoering van de activiteit om uitvoeringsspecifieke informatie op te halen, zoals de JSON-invoer, JSON-uitvoer en gedetailleerde activiteitenspecifieke bewakingservaringen.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Kolomnaam Beschrijving
Activiteitsnaam Naam van de activiteit in de pijplijn
Type activiteit Type activiteit, zoals Kopiëren, ExecuteDataFlow of AzureMLExecutePipeline
Acties Pictogrammen waarmee u JSON-invoergegevens, JSON-uitvoergegevens of gedetailleerde activiteitenspecifieke bewakingservaringen kunt zien
Begintijd van uitvoering Begindatum en -tijd voor de uitvoering van de activiteit (MM/DD/JJJJ, UU:MM:SS AM/PM)
Duur Uitvoeringsduur (UU:MM:SS)
Status Mislukt, Geslaagd, Wordt uitgevoerd of Geannuleerd
Integration Runtime Op welke Integration Runtime de activiteit is uitgevoerd
Gebruikerseigenschappen Door de gebruiker gedefinieerde eigenschappen van de activiteit
Error Als de activiteit is mislukt, wordt de uitvoeringsfout weergegeven
Uitvoerings-id Id van de uitvoering van de activiteit

Als een activiteit is mislukt, ziet u het gedetailleerde foutbericht door op het pictogram in de foutkolom te klikken.

Screenshot of a notification with error details including error code, failure type, and error details.

Gebruikerseigenschappen verhogen om te bewaken

Stel de eigenschap van een pijplijnactiviteit in als een gebruikerseigenschap, zodat deze een entiteit wordt die u kunt bewaken. U kunt bijvoorbeeld de eigenschappen Bron en Doel van de kopieeractiviteit in uw pijplijn promoveren tot gebruikerseigenschappen.

Notitie

U kunt maximaal vijf eigenschappen van pijplijnactiviteit promoveren als gebruikerseigenschappen.

Screenshot of create user properties.

Nadat u de gebruikerseigenschappen hebt gemaakt, kunt u deze bewaken in de weergaven van de bewakingslijst.

Screenshot of add columns for user properties to the activity runs list.

Als de bron voor de kopieeractiviteit een tabelnaam is, kunt u de naam van de brontabel controleren als een kolom in de lijstweergave voor uitvoeringen van activiteiten.

Screenshot of activity runs list with columns for user properties.

Pijplijnen en activiteiten opnieuw uitvoeren

Het gedrag van de containeractiviteiten wordt als volgt opnieuw uitgevoerd:

  • Wait- Activiteit gedraagt zich zoals voorheen.
  • Set Variable - Activiteit gedraagt zich zoals voorheen.
  • Filter - Activiteit gedraagt zich zoals voorheen.
  • Until De activiteit evalueert de expressie en wordt herhaald tot aan de voorwaarde wordt voldaan. Inner-activiteiten kunnen nog steeds worden overgeslagen op basis van de regels voor opnieuw uitvoeren.
  • Foreach De activiteit wordt altijd herhaald voor de items die worden ontvangen. Inner-activiteiten kunnen nog steeds worden overgeslagen op basis van de regels voor opnieuw uitvoeren.
  • If and switch - Voorwaarden worden altijd geëvalueerd. Alle interne activiteiten worden geëvalueerd. Interne activiteiten kunnen nog steeds worden overgeslagen op basis van de regels voor opnieuw uitvoeren, maar de activiteiten zoals Execute Pipeline worden opnieuw uitgevoerd.
  • Execute pipeline activity - De onderliggende pijplijn wordt geactiveerd, maar alle activiteiten in de onderliggende pijplijn kunnen nog steeds worden overgeslagen op basis van de regels voor opnieuw uitvoeren.

Als u een pijplijn die eerder vanaf het begin is uitgevoerd opnieuw wilt uitvoeren, beweegt u de muisaanwijzer over de specifieke pijplijnuitvoering en selecteert u Opnieuw uitvoeren. Als u meerdere pijplijnen selecteert, kunt u de knop Opnieuw uitvoeren gebruiken om ze allemaal uit te voeren.

Screenshot of rerun a pipeline.

Als u opnieuw wilt uitvoeren vanaf een specifiek punt, kunt u dit doen vanuit de weergave uitvoeringen van activiteit. Selecteer de activiteit waaruit u wilt beginnen en selecteer Opnieuw uitvoeren vanuit activiteit.

Screenshot of rerun an activity run.

U kunt ook een pijplijn opnieuw uitvoeren en de parameters wijzigen. Selecteer de knop Nieuwe parameters om de parameters te wijzigen.

Screenshot of rerun an activity run with new parameters.

Notitie

Het opnieuw uitvoeren van een pijplijn met nieuwe parameters wordt beschouwd als een nieuwe pijplijnuitvoering, zodat deze niet wordt weergegeven onder de groeperingen voor opnieuw uitvoeren voor een pijplijnuitvoering.

Opnieuw uitvoeren vanuit mislukte activiteit

Als een activiteit mislukt, een time-out heeft of wordt geannuleerd, kunt u de pijplijn van die mislukte activiteit opnieuw uitvoeren door Opnieuw uitvoeren te selecteren in de mislukte activiteit.

Screenshot of rerun failed activity.

Geschiedenis van opnieuw uitvoeren weergeven

U kunt voor alle pijplijn-runs weergeven in de lijstweergave de geschiedenis van opnieuw uitvoeren bekijken.

Screenshot of view history.

U kunt ook de geschiedenis van opnieuw uitvoeren voor een bepaalde pijplijnuitvoering bekijken.

Screenshot of view history for a pipeline run.

Verbruik bewaken

U kunt de resources zien die worden gebruikt door een pijplijnuitvoering door op het verbruikspictogram naast de uitvoering te klikken.

Screenshot that shows where you can see the resources consumed by a pipeline.

Als u op het pictogram klikt, wordt een verbruiksrapport geopend van resources die door die pijplijnuitvoering worden gebruikt.

Screenshot of monitor consumption.

U kunt deze waarden aansluiten op de Azure-prijscalculator om de kosten van de pijplijnuitvoering te schatten. Zie Prijzen begrijpen voor meer informatie over prijzen van Azure Data Factory.

Notitie

Deze waarden die door de prijscalculator worden geretourneerd, zijn een schatting. Het geeft niet het exacte bedrag weer dat u in rekening wordt gebracht door Azure Data Factory

Gantt-weergaven

Een Gantt-grafiek is een weergave waarmee u de geschiedenis van een run gedurende een bepaalde periode kunt bekijken. Als u overschakelt naar een Gantt-weergave, ziet u alle pijplijn-runs gegroepeerd op naam, weergegeven als balken ten opzichte van hoe lang de run heeft geduurd. U kunt ook groeperen op aantekeningen/tags die u in uw pijplijn hebt gemaakt. De Gantt-weergave is ook beschikbaar op het niveau van de activiteitsrun.

Screenshot of an example of a Gantt chart.

De lengte van de balk geeft de duur van de pijplijn aan. U kunt ook de balk selecteren om meer details weer te geven.

Screenshot of a Gantt chart duration.

Waarschuwingen

U kunt waarschuwingen instellen voor ondersteunde metrische gegevens in Data Factory. Selecteer Waarschuwingen>en metrische gegevens bewaken op de data factory-bewakingspagina om aan de slag te gaan.

Screenshot of the Data factory Monitor page.

Bekijk de volgende video voor een inleiding van zeven minuten en demonstratie van deze functie:

Waarschuwingen maken

  1. Selecteer Nieuwe waarschuwingsregel om een nieuwe waarschuwing te maken.

    Screenshot of New Alert Rule button.

  2. Geef de regelnaam op en selecteer de ernst van de waarschuwing.

    Screenshot of boxes for rule name and severity.

  3. Selecteer de waarschuwingscriteria.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    U kunt waarschuwingen maken voor verschillende metrische gegevens, waaronder die voor het aantal ADF-entiteiten, activiteits-/pijplijn-/triggeruitvoeringen, CPU-gebruik/geheugen-/knooppuntaantal/wachtrij, evenals voor uitvoeringen van SSIS-pakketten en SSIS IR-start-/stopbewerkingen.

  4. Configureer de waarschuwingslogica. U kunt een waarschuwing maken voor de geselecteerde metrische gegevens voor alle pijplijnen en bijbehorende activiteiten. U kunt ook een bepaald activiteitstype, activiteitsnaam, pijplijnnaam of fouttype selecteren.

    Screenshot of options for configuring alert logic.

  5. Configureer e-mail, sms, push- en spraakmeldingen voor de waarschuwing. Maak een actiegroep of kies een bestaande groep voor de waarschuwingsmeldingen.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Maak de waarschuwingsregel.

    Screenshot of options for creating an alert rule.

Zie het artikel Pijplijnen bewaken en beheren via een programma voor meer informatie over het bewaken en beheren van pijplijnen.