Planen der Kostenverwaltung für Azure Data Factory

  • Artikel

GILT FÜR: Azure Data Factory Azure Synapse Analytics

Tipp

Testen Sie Data Factory in Microsoft Fabric, eine All-in-One-Analyselösung für Unternehmen. Microsoft Fabric deckt alle Aufgaben ab, von der Datenverschiebung bis hin zu Data Science, Echtzeitanalysen, Business Intelligence und Berichterstellung. Erfahren Sie, wie Sie kostenlos eine neue Testversion starten!

In diesem Artikel wird beschrieben, wie Sie die Kosten für Azure Data Factory planen und verwalten.

Zunächst verwenden Sie zu Beginn des ETL-Projekts zur Kostenschätzung eine Kombination aus Azure-Preisen und Verbrauchs- und Preisrechnern pro Pipeline, um die Kosten für Azure Data Factory zu planen, bevor Sie Ressourcen für den Dienst hinzufügen. Überprüfen Sie dann beim Hinzufügen von Azure-Ressourcen die voraussichtlichen Kosten. Nachdem Sie mit der Nutzung von Azure Data Factory-Ressourcen begonnen haben, können Sie Cost Management-Features verwenden, um Budgets festzulegen, und Kosten zu überwachen. Sie können auch vorhergesagte Kosten überprüfen, und Ausgabentrends ermitteln, um die Bereiche zu identifizieren, in denen ggf. Maßnahmen erforderlich sind. Kosten für Azure Data Factory stellen nur einen Teil der monatlichen Kosten Ihrer Azure-Rechnung dar. Beachten Sie, dass in diesem Artikel nur erläutert wird, wie Sie die Kosten für die Data Factory planen und verwalten. Es werden Ihnen alle Azure-Dienste und -Ressourcen in Rechnung gestellt, die Sie im Rahmen Ihres Azure-Abonnements nutzen. Dies schließt auch die Dienste von Drittanbietern ein.

Voraussetzungen

Die Kostenanalyse in Cost Management unterstützt die meisten Azure-Kontotypen, jedoch nicht alle. Die vollständige Liste der unterstützten Kontotypen finden Sie unter Grundlegendes zu Cost Management-Daten. Um Kostendaten anzeigen zu können, müssen Sie mindestens über Lesezugriff auf ein Azure-Konto verfügen. Informationen zum Zuweisen des Zugriffs auf Azure Cost Management-Daten finden Sie unter Zuweisen des Zugriffs auf Cost Management-Daten.

Kostenschätzung vor der Verwendung von Azure Data Factory

Verwenden Sie den ADF-Preisrechner, um eine Schätzung der Kosten für die Ausführung Ihrer ETL-Workload in Azure Data Factory zu erhalten. Um den Preisrechner zu verwenden, müssen Sie Details wie die Anzahl der Aktivitätsausführungen, die Anzahl der Stunden für Datenintegrationseinheiten, den für den Datenfluss verwendeten Computetyp, die Anzahl der Kerne, die Anzahl der Instanzen, die Ausführungsdauer usw. eingeben.

Eine der häufig gestellten Fragen zum Preisrechner ist, welche Werte als Eingaben verwendet werden sollen. Während der Proof-of-Concept-Phase können Sie Testläufe mithilfe von Beispieldatasets durchführen, um den Verbrauch verschiedener ADF-Einheiten zu ermitteln. Anschließend können Sie basierend auf der Nutzung des Beispieldatasets eine Projektion der Nutzung für das vollständige Dataset und den Betriebszeitplan erstellen.

Hinweis

Die in diesem Beispiel verwendeten Preise sind hypothetisch und stellen nicht die tatsächlichen Preise dar.

Angenommen, Sie müssen täglich 1 TB Daten von AWS S3 zu Azure Data Lake Gen2 verschieben. Sie können ein Proof of Concept für das Verschieben von 100 GB Daten durchführen, um den Durchsatz der Datenerfassung zu messen und den entsprechenden abgerechneten Verbrauch zu ermitteln.

Im Folgenden finden Sie ein Beispiel für die Ausführung der Kopieraktivität (die tatsächliche Zeit hängt von der Struktur Ihres spezifischen Datasets, von Netzwerkgeschwindigkeiten, von Ausgangsgrenzwerten für das S3-Konto, von Eingangsgrenzwerten für ADLS Gen2 und anderen Faktoren ab).

S3 copy run

Durch Nutzung der Verbrauchsüberwachung auf Pipelineausführungsebene können Sie den entsprechenden Verbrauch für die Datenverschiebungseinheiten abrufen:

S3 copy pipeline consumption

Folglich beträgt die Gesamtzahl von DIU-Stunden (Datenintegrationseinheiten) für den gesamten Monat, die für die Verschiebung von 1 TB pro Tag benötigt wird:

1,2667 (DIU-Stunden) * (1 TB / 100 GB) * 30 (Tage in einem Monat) = 380 DIU-Stunden

Nun können Sie 30 Aktivitätsausführungen und 380 DIU-Stunden im ADF-Preisrechner eingeben, um eine Schätzung ihrer monatlichen Rechnung zu erhalten:

S3 copy pricing calculator

Grundlegendes zum vollständigen Abrechnungsmodell für Azure Data Factory

Azure Data Factory wird auf der Azure-Infrastruktur ausgeführt, für die Kosten anfallen, wenn Sie neue Ressourcen bereitstellen. Es ist wichtig zu verstehen, dass möglicherweise zusätzliche Infrastrukturkosten anfallen.

Die Gebühren für Azure Data Factory

Azure Data Factory ist ein serverloser und elastischer Datenintegrationsdienst, der für die Cloud skaliert wurde. Es gibt keine feste Computegröße, die Sie bei der Planung als Spitzenlast berücksichtigen müssen. Stattdessen geben Sie an, wie viele Ressourcen bei Bedarf pro Vorgang zuzuordnen sind, sodass Sie die ETL-Prozesse auf eine besser skalierbare Weise gestalten können. Außerdem wird ADF auf Basis eines verbrauchsbasierten Plans abgerechnet, sodass Sie nur für die tatsächliche Nutzung bezahlen.

Wenn Sie Azure Data Factory-Ressourcen erstellen oder verwenden, werden Ihnen möglicherweise die folgenden Verbrauchseinheiten in Rechnung gestellt:

  • Ausführung von Orchestrierungsaktivitäten: Ihnen werden Gebühren basierend auf der Anzahl der orchestrierten Aktivitätsausführungen in Rechnung gestellt.
  • Datenintegrationseinheitsstunden (DIU) – Für die Ausführung von Kopieraktivitäten in Azure Integration Runtime werden Ihnen Gebühren basierend auf der Anzahl der verwendeten DIU und der Ausführungsdauer in Rechnung gestellt.
  • vCore-Stunden – Für das Ausführen und das Debuggen von Datenflüssen werden Ihnen Gebühren basierend auf Computetyp, Anzahl der virtuellen Kerne und Ausführungsdauer berechnet.

Am Ende Ihres Abrechnungszeitraums werden die Gebühren für die einzelnen Verbrauchseinheiten summiert. Ihre Rechnung zeigt einen Abschnitt für alle Azure Data Factory-Kosten an. Für jede Verbrauchseinheit besteht ein separates Zeilenelement.

Andere Kosten, die bei Azure Data Factory anfallen können

Wenn Sie Ressourcen für die Azure Data Factory (ADF) erstellen, werden auch Ressourcen für andere Azure-Dienste erstellt. Dazu gehören:

  • Pipelineaktivitätsausführung
  • Externe Pipelineaktivitätsausführung
  • Erstellen/Bearbeiten/Abrufen/Überwachen von Data Factory-Artefakten
  • Dauer der SSIS Integration Runtime (IR) basierend auf Instanztyp und Dauer

Hinweis

Sie können Ihren ADF- und anderen Azure-Ressourcen das gleiche Tag zuweisen, indem Sie diese in die gleiche Kategorie setzen, um ihre konsolidierte Abrechnung einzusehen. Das ADF-Tag wird von allen SSIS-IRs darin geerbt. Wenn Sie Ihr ADF-Tag ändern, müssen Sie alle SSIS-IRs beenden und neu starten, damit sie das neue Tag erben können. Weitere Informationen finden Sie im Abschnitt Neukonfigurieren der SSIS IR.

Verwenden der Azure-Vorauszahlung mit Azure Data Factory

Sie können Azure Data Factory-Gebühren mit der Azure-Vorauszahlungsgutschrift begleichen. Allerdings können Sie mit der Azure-Vorauszahlungsgutschrift keine Gebühren für Produkte und Dienste von Drittanbietern, einschließlich derjenigen aus dem Azure Marketplace, bezahlen.

Überwachen der Kosten

Azure Data Factory-Kosten können auf Ebene der Factory, Pipeline, Pipelineausführung und Aktivitätsausführung überwacht werden.

Überwachen der Kosten auf Ebene der Factory mithilfe der Kostenanalyse

Wenn Sie Azure-Ressourcen mit Data Factory verwenden, fallen Kosten an. Die Kosten pro Azure-Ressourcennutzungseinheit variieren nach dem Zeitintervall (Sekunden, Minuten, Stunden und Tage) oder der Einheitennutzung (Bytes, Megabytes usw.) Sobald mit der Data Factory-Nutzung begonnen wird, fallen Kosten an, und Sie können die Kosten in der Kostenanalyse sehen.

Bei Verwendung der Kostenanalyse können Sie Data Factory-Kosten in Diagrammen und Tabellen für unterschiedliche Zeitintervalle anzeigen. Beispiele hierfür sind „Tag“, „Aktueller Monat“, „Vorheriger Monat“ und „Jahr“. Sie können Kosten auch im Vergleich mit Budgets und vorhergesagten Kosten anzeigen. Wenn Sie im Laufe der Zeit zu längeren Zeiträumen wechseln, können Sie Ausgabentrends ermitteln. Außerdem können Sie erkennen, wo es ggf. zu hohen Ausgaben gekommen ist. Wenn Sie Budgets erstellt haben, können Sie auch leicht feststellen, wo diese überschritten werden.

So zeigen Sie Data Factory-Kosten in der Kostenanalyse an:

  1. Melden Sie sich beim Azure-Portal an.
  2. Öffnen Sie den Bereich im Azure-Portal, und wählen Sie Kostenanalyse im Menü aus. Navigieren Sie beispielsweise zu Abonnements, und wählen Sie dann ein Abonnement in der Liste und Kostenanalyse im Menü aus. Wählen Sie Bereich aus, um zu einem anderen Bereich der Kostenanalyse zu wechseln.
  3. Standardmäßig werden die Kosten für Dienste im ersten Ringdiagramm angezeigt. Wählen Sie im Diagramm den Bereich „Azure Data Factory v2“ aus.

Die tatsächlichen monatlichen Kosten werden beim ersten Öffnen der Kostenanalyse angezeigt. Im folgenden Beispiel werden alle monatlichen Nutzungskosten angezeigt.

Example showing accumulated costs for a subscription

  • Wählen Sie zum Eingrenzen der Kosten auf einen Dienst wie Data Factory die Option Filter hinzufügen und dann Dienstname aus. Wählen Sie dann Azure Data Factory v2 aus.

Im folgenden Beispiel werden nur die Kosten für Data Factory angezeigt.

Example showing accumulated costs for ServiceName

Im obigen Beispiel sind die aktuellen Kosten für den Dienst angegeben. Die Kosten nach Azure-Regionen (Standorten) und Data Factory-Kosten nach Ressourcengruppe werden ebenfalls angezeigt. Von hier aus können Sie die Kosten selbst überprüfen.

Überwachen der Kosten auf Pipelineebene mithilfe der Kostenanalyse

In bestimmten Fällen benötigen Sie vielleicht eine detaillierte Aufschlüsselung der Betriebskosten innerhalb der Factory, z. B. für die verbrauchsbasierte Kostenzuteilung. Durch die Integration der Azure-Abrechnungsplattform zur Kostenanalyse kann Data Factory die Abrechnungskosten für jede Pipeline getrennt ausweisen. Wenn Sie die detaillierte Abrechnungsberichterstattung von Azure Data Factory für eine Factory aktivieren, können Sie besser nachvollziehen, welche Kosten die einzelnen Pipelines innerhalb der betreffenden Factory verursachen.

Sie müssen die Option für jede Factory aktivieren, für die Sie eine detaillierte Abrechnung wünschen. Gehen Sie zum Aktivieren der detaillierten Abrechnungsfunktion auf Pipelineebene wie folgt vor:

  1. Wechseln Sie zum Azure Data Factory-Portal.
  2. Wählen Sie auf der Registerkarte Verwalten im Abschnitt Allgemein die Option Factoryeinstellungen aus.
  3. Aktivieren Sie für Abrechnungsbericht anzeigen die Einstellung „Nach Pipeline“ aus.
  4. Veröffentlichen Sie die Änderung.

Screenshot of steps to enable per pipeline billing feature.

Hinweis

Die Einstellungen zur detaillierten Pipelineabrechnung sind in den exportierten ARM-Vorlagen Ihrer Factory nicht enthalten. Folglich wird das Abrechnungsverhalten für die Factory nicht durch Continuous Integration and Delivery (CI/CD) überschrieben. Auf diese Weise können Sie für Entwicklungs-, Test- und Produktionsfactorys ein unterschiedliches Abrechnungsverhalten festlegen.

Sobald die Funktion aktiviert ist, wird für jede Pipeline ein eigener Eintrag im Abrechnungsbericht erstellt. Dieser zeigt genau an, wie viel jede Pipeline im ausgewählten Zeitraum kostet. So können Sie Ausgabentrends ermitteln und etwaige Budgetüberschreitungen feststellen.

Screenshot of example showing granular cost for a pipeline.

Mit den Diagrammtools der Kostenanalyse erhalten Sie ähnliche Diagramme und Trends wie oben dargestellt, aber für einzelne Pipelines. Sie erhalten außerdem eine Übersicht nach Factoryname, da der Factoryname im Abrechnungsbericht enthalten ist. So können Sie bei Bedarf entsprechend filtern.

Die Änderung wirkt sich nur auf die Art und Weise aus, wie Rechnungen in Zukunft ausgestellt werden, und ändert nichts an vergangenen Gebühren. Warten Sie einige Zeit, bis die Änderung im Abrechnungsbericht übernommen wird: In der Regel wird die Änderung innerhalb von einem Tag widergespiegelt.

Warnung

Wenn Sie die detaillierte Abrechnung aktivieren, ist für jede Pipeline in Ihrer Factory ein Eintrag vorhanden. Beachten Sie dies insbesondere dann, wenn Sie eine sehr große Anzahl von Pipelines in der Factory verwenden, da Ihr Abrechnungsbericht dadurch erheblich länger und komplexer werden kann.

Einschränkungen

Im Folgenden finden Sie die bekannten Einschränkungen der Abrechnungsfunktionen pro Pipeline. Die genannten Verbrauchseinheiten für die Abrechnung werden nicht unter der Pipeline aufgeführt, durch die sie erzeugt werden, sondern unter einer Ausweichposition für Ihre Factory.

Überwachen des Verbrauchs auf Ebene der Pipelineausführung in Azure Data Factory

Je nach Typ der Aktivitäten in Ihrer Pipeline, der Menge an zu verschiebenden und umzuwandelnden Daten und der Komplexität der Transformation werden bei der Ausführung einer Pipeline in Azure Data Factory unterschiedliche Verbrauchseinheiten für die Abrechnung angezeigt.

Sie können den Umfang der Nutzung für verschiedene Verbrauchseinheiten für einzelne Pipelineausführungen auf der Azure Data Factory-Benutzeroberfläche anzeigen. Um die Benutzeroberfläche für die Überwachung zu öffnen, wählen Sie die Kachel Überwachen und verwalten im Blatt „Data Factory“ des Azure-Portals aus. Wenn Sie bereits zur Benutzeroberfläche von Azure Data Factory gewechselt haben, wählen Sie in der linken Seitenleiste das Symbol Überwachen aus. Die standardmäßige Überwachungsansicht ist eine Liste der Pipelineausführungen.

Wenn Sie auf die Schaltfläche Verbrauch neben dem Namen der Pipeline klicken, wird ein Popupfenster angezeigt, in dem die aggregierte Nutzung der Pipelineausführung für alle Aktivitäten in der Pipeline angezeigt wird.

Pipeline run consumption

Pipeline consumption details

In der Verbrauchsansicht für Pipelineausführungen wird der für jede Azure Data Factory-Verbrauchseinheit anfallende Betrag für die jeweilige Pipeline aufgeführt. Der tatsächlich berechnete Preis wird jedoch nicht angezeigt, da der in Rechnung gestellte Betrag vom Typ Ihres Azure-Kontos und von der verwendeten Währung abhängig ist. Die vollständige Liste der unterstützten Kontotypen finden Sie unter Grundlegendes zu Cost Management-Daten.

Überwachen des Verbrauchs auf Ebene der Aktivitätsausführung in Azure Data Factory

Nachdem Sie den aggregierten Verbrauch auf Pipelineausführungsebene ermittelt haben, müssen Sie in bestimmten Szenarien einen weiteren Drilldown ausführen und ermitteln, welche Aktivität in der Pipeline die teuerste ist.

Um die Nutzung auf Aktivitätsausführungsebene abzurufen, wechseln Sie zur Benutzeroberfläche Erstellen und überwachen Ihrer Data Factory. Auf der Registerkarte Überwachen wird eine Liste der Pipelineausführungen angezeigt. Klicken Sie auf den Link Pipelinename, um auf die Liste der Aktivitätsausführungen in der Pipelineausführung zuzugreifen. Wählen Sie die Schaltfläche Ausgabe neben dem Aktivitätsnamen aus, und suchen Sie in der JSON-Ausgabe nach der Eigenschaft billableDuration:

Im Folgenden sehen Sie eine Beispielausgabe für die Ausführung einer Kopieraktivität:

Copy output

Hier sehen Sie eine Beispielausgabe für die Ausführung einer Zuordnungsdatenflussaktivität:

Dataflow output

Erstellen von Budgets

Sie können Budgets erstellen, um Kosten zu verwalten, und Warnungen erstellen, die die Beteiligten automatisch über Ausgabenanomalien und Überschreitungsrisiken informieren. Warnungen basieren auf Ausgaben im Vergleich zum Budget und zu Kostenschwellenwerten. Budgets und Warnungen werden für Azure-Abonnements und -Ressourcengruppen erstellt und sind daher im Rahmen einer umfassenden Strategie zur Kostenüberwachung hilfreich.

Sie können ein Budget mit Filtern für bestimmte Ressourcen oder Dienste in Azure erstellen, wenn Sie eine höhere Granularität in Ihrer Überwachung wünschen. Mit Filtern stellen Sie sicher, dass Sie nicht versehentlich neue Ressourcen erstellen, die Ihnen zusätzliche Kosten bereiten. Weitere Informationen zu den beim Erstellen eines Budgets verfügbaren Filteroptionen finden Sie unter Gruppen- und Filteroptionen.

Exportieren von Kostendaten

Sie können Ihre Kostendaten auch in ein Speicherkonto exportieren. Dies ist nützlich, wenn Sie oder andere Personen eine weiterführende Datenanalyse zu den Kosten durchführen müssen. Beispielsweise können Finanzteams die Daten mithilfe von Excel oder Power BI analysieren. Sie können Ihre Kosten täglich, wöchentlich oder monatlich exportieren und einen benutzerdefinierten Datumsbereich festlegen. Exportieren von Kostendaten ist die empfohlene Abrufmethode für Kostendatasets.

Zugehöriger Inhalt