Freigeben über

CLI (v2)-Zeitplan-YAML-Schema für Modellüberwachung (Vorschau)

  • Artikel

GILT FÜRAzure CLI-ML-Erweiterung v2 (aktuell)

Die in diesem Dokument beschriebene YAML-Syntax basiert auf dem JSON-Schema für die neueste Version der ML CLI v2-Erweiterung. Die Funktion dieser Syntax wird nur mit der neuesten Version der ML CLI v2-Erweiterung garantiert. Das umfassende JSON-Schema kann unter https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.jsonangezeigt werden. Die Schemas für ältere Erweiterungsversionen finden Sie unter https://azuremlschemasprod.azureedge.net/.

YAML-Syntax

Schlüssel type BESCHREIBUNG Zulässige Werte
$schema Zeichenfolge Das YAML-Schema.
name Zeichenfolge Erforderlich. Name des Zeitplans.
description Zeichenfolge Eine Beschreibung des Zeitplans.
tags Objekt (object) Wörterbuch der Tags für den Endpunkt
trigger Objekt (object) Erforderlich. Die Triggerkonfiguration zum Definieren der Regel beim Auslösen des Auftrags. Eines von RecurrenceTrigger oder CronTrigger ist erforderlich.
create_monitor Objekt (object) Erforderlich. Die Definition des Monitors, der durch einen Zeitplan ausgelöst wird. MonitorDefinition ist erforderlich.

Triggerkonfiguration

Recurrence-Trigger

Schlüssel type BESCHREIBUNG Zulässige Werte
type Zeichenfolge Erforderlich. Gibt den Zeitplantyp an. recurrence
frequency Zeichenfolge Erforderlich. Die Zeiteinheit für die Häufigkeit der Zeitplanauslösung: minute, , hourday, , weekmonth
interval integer Erforderlich. Wählen Sie das Intervall aus, nach dem der Zeitplan wiederholt wird.
start_time Zeichenfolge Beschreibt das Startdatum und die Uhrzeit mit Zeitzone. Wenn start_time nicht angegeben wird, wird der erste Auftrag sofort ausgeführt, und die zukünftigen Aufträge werden basierend auf dem Zeitplan ausgelöst, sodass start_time dem erstellen Auftrag entspricht. Wenn die Startzeit in der Vergangenheit liegt, wird die erste Workload zur nächsten berechneten Laufzeit ausgeführt.
end_time Zeichenfolge Beschreibt das Enddatum und die Uhrzeit mit Zeitzone. Wenn end_time nicht angegeben wird, wird der Zeitplan weiterhin ausgeführt, bis er explizit deaktiviert wird.
timezone Zeichenfolge Gibt die Zeitzone der Serienserie an. Wenn nicht angegeben, ist standardmäßig UTC. Siehe Anhang für Zeitzonenwerte
pattern Objekt (object) Gibt das Muster der Serienserie an. Wenn das Muster nicht angegeben wird, wird der Auftrag gemäß der Logik von start_time, Häufigkeit und Intervall ausgelöst.

Wiederholung – Zeitplan

Der Serienplan definiert das Serienmuster, das hours enthält, minutesund weekdays.

  • Wenn die Häufigkeit ist day, kann das Muster angeben hours und angeben und minutes.
  • Wenn die Häufigkeit ist week, kann das Muster angeben month und angeben und hours.
Schlüssel type Zulässige Werte
hours Ganzzahl oder Array von ganzzahliger Zahl 0-23
minutes Ganzzahl oder Array von ganzzahliger Zahl 0-59
week_days Zeichenfolge oder Array von Zeichenfolgen monday, , tuesdaywednesday, thursday, friday, , saturdaysunday

CronTrigger

Schlüssel type BESCHREIBUNG Zulässige Werte
type Zeichenfolge Erforderlich. Gibt den Zeitplantyp an. cron
expression Zeichenfolge Erforderlich. Gibt den Cron-Ausdruck an, um zu definieren, wie Aufträge ausgelöst werden. Der Ausdruck verwendet den Standard-Crontab-Ausdruck, um einen Wiederkehrenden Zeitplan auszudrücken. Ein einzelner Ausdruck besteht aus fünf leer getrennten Feldern:MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK
start_time Zeichenfolge Beschreibt das Startdatum und die Uhrzeit mit Zeitzone. Wenn start_time nicht angegeben wird, wird der erste Auftrag sofort ausgeführt, und die zukünftigen Aufträge werden basierend auf dem Zeitplan ausgelöst, sagt start_time, dass start_time dem erstellten Auftrag entsprechen. Wenn die Startzeit in der Vergangenheit liegt, wird die erste Workload zur nächsten berechneten Laufzeit ausgeführt.
end_time Zeichenfolge Beschreibt das Enddatum und die Uhrzeit mit Zeitzone. Wenn end_time nicht angegeben wird, wird der Zeitplan weiterhin ausgeführt, bis es explizit deaktiviert ist.
timezone Zeichenfolge Gibt die Zeitzone der Serienserie an. Wenn nicht angegeben, ist standardmäßig UTC. Siehe Anhang für Zeitzonenwerte

Definition von Monitor

Schlüssel type BESCHREIBUNG Zulässige Werte Standardwert
compute Object Erforderlich. Beschreibung der Computeressourcen für den Spark-Pool zum Ausführen eines Überwachungsauftrags.
compute.instance_type String Erforderlich. Der Compute-Instanztyp, der für den Spark-Pool verwendet werden soll. 'standard_e4s_v3', 'standard_e8s_v3', 'standard_e16s_v3', 'standard_e32s_v3', 'standard_e64s_v3' –
compute.runtime_version String Optional: Definiert die Spark-Runtimeversion. 3.3 3.3
monitoring_target Objekt Azure Machine Learning-Ressourcen im Zusammenhang mit der Modellüberwachung.
monitoring_target.ml_task String Machine Learning-Aufgabe für das Modell. Zulässige Werte: classification, regression, question_answering
monitoring_target.endpoint_deployment_id String Optional: Die zugehörige Azure Machine Learning-Endpunkt-/Bereitstellungs-ID im Format azureml:myEndpointName:myDeploymentName. Dieses Feld ist erforderlich, wenn Ihr Endpunkt/Ihre Bereitstellung die Modelldatensammlung für die Modellüberwachung aktiviert hat.
monitoring_target.model_id String Optional: Die zugehörige Modell-ID für die Modellüberwachung.
monitoring_signals Object Wörterbuch der einzubeziehenden Überwachungssignale. Der Schlüssel ist ein Name für das Überwachungssignal im Kontext des Monitors, und der Wert ist ein Objekt, das eine Überwachungssignalspezifikation enthält. Optional für die grundlegende Modellüberwachung, die aktuelle Produktionsdaten aus der Vergangenheit als Vergleichsbaseline verwendet und drei Überwachungssignale aufweist: Datendrift, Vorhersageabweichung und Datenqualität.
alert_notification Zeichenfolge oder Objekt Beschreibung der Empfänger von Warnungsbenachrichtigungen. Eines von zwei Warnzielen ist zulässig: Zeichenfolge azmonitoring oder Objekt emails mit einem Array von E-Mail-Empfänger*innen
alert_notification.emails Object Liste der E-Mail-Adressen, die Warnungsbenachrichtigungen empfangen sollen.

Überwachen von Signalen

Datendrift

Während sich die Daten, die zum Trainieren des Modells verwendet werden, in der Produktion weiterentwickeln, kann sich die Verteilung der Daten verschieben, was zu einem Konflikt zwischen den Trainingsdaten und den realen Daten führt, die das Modell für Vorhersagen verwendet. Datendrift ist ein Phänomen, das beim maschinellen Lernen auftritt, wenn sich die statistischen Eigenschaften der Eingabedaten, die zum Trainieren des Modells verwendet werden, im Laufe der Zeit ändern.

Schlüssel type BESCHREIBUNG Zulässige Werte Standardwert
type String Erforderlich. Art des Überwachungssignals. Die vordefinierte Verarbeitungskomponente für das Überwachungssignal wird automatisch entsprechend dem hier angegebenen type geladen. data_drift data_drift
production_data Object Optional: Beschreibung der Produktionsdaten, die für das Überwachungssignal analysiert werden sollen.
production_data.input_data Object Optional: Eine Beschreibung der Eingabedatenquelle finden Sie in der Spezifikation für Auftragseingabedaten.
production_data.data_context String Der Kontext der Daten verweist auf Modellproduktionsdaten. Es kann sich um Modelleingaben oder Modellausgaben handeln. model_inputs
production_data.data_window Objekt Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften production_data.data_window.lookback_window_offset und production_data.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften production_data.data_window.window_start und production_data.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
production_data.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn production_data.data.input_data.typeuri_folder ist, siehe Vorverarbeitungskomponentenspezifikation.
reference_data Object Optional: Zuletzt verwendete Produktionsdaten werden als Vergleichsbaselinedaten verwendet, wenn dies nicht angegeben ist. Es wird empfohlen, Trainingsdaten als Vergleichsbaseline zu verwenden.
reference_data.input_data Object Eine Beschreibung der Eingabedatenquelle finden Sie in der Spezifikation für Auftragseingabedaten.
reference_data.data_context String Der Kontext der Daten. Er bezieht sich auf den Kontext, den das Dataset zuvor verwendet hat. model_inputs, , trainingtestvalidation
reference_data.data_column_names.target_column Object Optional. Wenn es reference_data sich um Schulungsdaten handelt, ist diese Eigenschaft erforderlich, um die wichtigsten N-Features für die Datenabweichung zu überwachen.
reference_data.data_window Objekt Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften reference_data.data_window.lookback_window_offset und reference_data.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften reference_data.data_window.window_start und reference_data.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
reference_data_data.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn reference_data.input_data.typeuri_folder ist, siehe Vorverarbeitungskomponentenspezifikation.
features Object Optional: Zielfeatures, die auf Datendrift überwacht werden sollen. Einige Modelle verfügen möglicherweise über Hunderte oder Tausende von Features. Es wird immer empfohlen, Features von Interesse für die Überwachung anzugeben. Einer der folgenden Werte: Liste der Featurenamen, features.top_n_feature_importanceoder all_features Standard features.top_n_feature_importance = 10, wenn production_data.data_contexttraining ist, andernfalls ist der Standardwert all_features
alert_enabled Boolean Aktivieren/Deaktivieren der Warnungsbenachrichtigung für das Überwachungssignal. True oder False
metric_thresholds Object Liste der Metriken und Schwellenwerteigenschaften für das Überwachungssignal. Wenn der Schwellenwert überschritten wird und alert_enabled den Wert true hat, erhalten die Benutzer*innen eine Warnungsbenachrichtigung.
metric_thresholds.numerical Object Optional. Die Liste der Metriken und Schwellenwerte im key:value-Format, wobei key der Metrikname und value der Schwellenwert ist. Zulässige numerische Metriknamen: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_index, two_sample_kolmogorov_smirnov_test
metric_thresholds.categorical Object Optional. Die Liste der Metriken und Schwellenwerte im Format „Schlüssel:Wert“, wobei „Schlüssel“ der Metrikname und „Wert“ der Schwellenwert ist. Zulässige kategorisierte Metriknamen: jensen_shannon_distance, , chi_squared_testpopulation_stability_index

Vorhersagedrift

Die Vorhersagedrift verfolgt Veränderungen in der Verteilung der Vorhersageausgaben eines Modells, indem sie mit als Test- oder Validierungsdaten gekennzeichneten Daten oder mit Produktionsdaten der kürzeren Vergangenheit verglichen werden.

Schlüssel type BESCHREIBUNG Zulässige Werte Standardwert
type String Erforderlich. Art des Überwachungssignals. Die vordefinierte Verarbeitungskomponente für das Überwachungssignal wird automatisch entsprechend dem hier angegebenen type geladen. prediction_drift prediction_drift
production_data Object Optional: Beschreibung der Produktionsdaten, die für das Überwachungssignal analysiert werden sollen.
production_data.input_data Object Optional: Eine Beschreibung der Eingabedatenquelle finden Sie in der Spezifikation für Auftragseingabedaten.
production_data.data_context String Der Kontext der Daten verweist auf Modellproduktionsdaten. Es kann sich um Modelleingaben oder Modellausgaben handeln. model_outputs
production_data.data_window Objekt Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften production_data.data_window.lookback_window_offset und production_data.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften production_data.data_window.window_start und production_data.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
production_data.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn production_data.data.input_data.type dies der Fall ist uri_folder. Weitere Informationen zur Spezifikation der Vorverarbeitungskomponenten finden Sie unter Präverarbeitungskomponentenspezifikation.
reference_data Objekt Optional: Zuletzt verwendete Produktionsdaten werden als Vergleichsbaselinedaten verwendet, wenn dies nicht angegeben ist. Es wird empfohlen, Trainingsdaten als Vergleichsbaseline zu verwenden.
reference_data.input_data Object Eine Beschreibung der Eingabedatenquelle finden Sie in der Spezifikation für Auftragseingabedaten.
reference_data.data_context String Der Kontext der Daten. Er bezieht sich auf den Kontext, den das Dataset zuvor verwendet hat. model_inputs, , trainingtestvalidation
reference_data.data_column_names.target_column Object Optional. Wenn es sich bei „reference_data“ um Trainingsdaten handelt, ist diese Eigenschaft erforderlich, um die wichtigsten N-Features für die Datendrift zu überwachen.
reference_data.data_window Object Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften reference_data.data_window.lookback_window_offset und reference_data.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften reference_data.data_window.window_start und reference_data.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
reference_data_data.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn reference_data.input_data.typeuri_folder ist, siehe Vorverarbeitungskomponentenspezifikation.
features Object Optional: Zielfeatures, die auf Datendrift überwacht werden sollen. Einige Modelle verfügen möglicherweise über Hunderte oder Tausende von Features. Es wird immer empfohlen, Features von Interesse für die Überwachung anzugeben. Einer der folgenden Werte: Liste der Featurenamen, features.top_n_feature_importanceoder all_features Standard features.top_n_feature_importance = 10, wenn production_data.data_contexttraining ist, andernfalls ist der Standardwert all_features
alert_enabled Boolean Aktivieren/Deaktivieren der Warnungsbenachrichtigung für das Überwachungssignal. True oder False
metric_thresholds Object Liste der Metriken und Schwellenwerteigenschaften für das Überwachungssignal. Wenn der Schwellenwert überschritten wird und alert_enabled den Wert true hat, erhalten die Benutzer*innen eine Warnungsbenachrichtigung.
metric_thresholds.numerical Object Optional. Die Liste der Metriken und Schwellenwerte im Format „Schlüssel:Wert“, wobei „Schlüssel“ der Metrikname und „Wert“ der Schwellenwert ist. Zulässige numerische Metriknamen: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_index, two_sample_kolmogorov_smirnov_test
metric_thresholds.categorical Object Optional. Die Liste der Metriken und Schwellenwerte im Format „Schlüssel:Wert“, wobei „Schlüssel“ der Metrikname und „Wert“ der Schwellenwert ist. Zulässige kategorisierte Metriknamen: jensen_shannon_distance, , chi_squared_testpopulation_stability_index

Datenqualität

Das Datenqualitätssignal verfolgt Probleme mit der Datenqualität in der Produktion, indem es einen Vergleich mit Trainingsdaten oder Produktionsdaten aus der jüngsten Vergangenheit durchführt.

Schlüssel type BESCHREIBUNG Zulässige Werte Standardwert
type String Erforderlich. Art des Überwachungssignals. Die vordefinierte Verarbeitungskomponente für das Überwachungssignal wird automatisch entsprechend dem hier angegebenen type geladen. data_quality data_quality
production_data Object Optional: Beschreibung der Produktionsdaten, die für das Überwachungssignal analysiert werden sollen.
production_data.input_data Object Optional: Eine Beschreibung der Eingabedatenquelle finden Sie in der Spezifikation für Auftragseingabedaten.
production_data.data_context String Der Kontext der Daten verweist auf Modellproduktionsdaten. Es kann sich um Modelleingaben oder Modellausgaben handeln. model_inputs, model_outputs
production_data.data_window Objekt Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften production_data.data_window.lookback_window_offset und production_data.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften production_data.data_window.window_start und production_data.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
production_data.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn production_data.input_data.typeuri_folder ist, siehe Vorverarbeitungskomponentenspezifikation.
reference_data Object Optional: Zuletzt verwendete Produktionsdaten werden als Vergleichsbaselinedaten verwendet, wenn dies nicht angegeben ist. Es wird empfohlen, Trainingsdaten als Vergleichsbaseline zu verwenden.
reference_data.input_data Object Eine Beschreibung der Eingabedatenquelle finden Sie in der Spezifikation für Auftragseingabedaten.
reference_data.data_context String Der Kontext der Daten. Er bezieht sich auf den Kontext, den das Dataset zuvor verwendet hat. model_inputs, , model_outputstraining, , testvalidation
reference_data.data_column_names.target_column Object Optional. Wenn es sich bei „reference_data“ um Trainingsdaten handelt, ist diese Eigenschaft erforderlich, um die wichtigsten N-Features für die Datendrift zu überwachen.
reference_data.data_window Object Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften reference_data.data_window.lookback_window_offset und reference_data.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften reference_data.data_window.window_start und reference_data.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
reference_data.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn reference_data.input_data.typeuri_folder ist, siehe Vorverarbeitungskomponentenspezifikation.
features Object Optional: Zielfeatures, die auf Datenqualität überwacht werden sollen. Einige Modelle verfügen möglicherweise über Hunderte oder Tausende von Features. Es wird immer empfohlen, Features von Interesse für die Überwachung anzugeben. Einer der folgenden Werte: Liste der Featurenamen, features.top_n_feature_importanceoder all_features Standard auf features.top_n_feature_importance = 10, wenn reference_data.data_contexttraining ist, andernfalls ist der Standardwert all_features
alert_enabled Boolean Aktivieren/Deaktivieren der Warnungsbenachrichtigung für das Überwachungssignal. True oder False
metric_thresholds Object Liste der Metriken und Schwellenwerteigenschaften für das Überwachungssignal. Wenn der Schwellenwert überschritten wird und alert_enabled den Wert true hat, erhalten die Benutzer*innen eine Warnungsbenachrichtigung.
metric_thresholds.numerical Object Optional: Liste der Metriken und Schwellenwerte im key:value-Format, wobei key der Metrikname und value der Schwellenwert ist. Zulässige numerische Metriknamen: data_type_error_rate, null_value_rate, out_of_bounds_rate
metric_thresholds.categorical Object Optional: Liste der Metriken und Schwellenwerte im key:value-Format, wobei key der Metrikname und value der Schwellenwert ist. Zulässige kategorisierte Metriknamen: data_type_error_rate, , null_value_rateout_of_bounds_rate

Featurezuordnungsdrift (Vorschau)

Die Featurezuordnung eines Modells kann sich im Laufe der Zeit aufgrund von Änderungen in der Verteilung der Daten, Änderungen in den Beziehungen zwischen Features oder Änderungen im zugrunde liegenden und zu lösenden Problem ändern. Die Abweichung der Featurezuordnung ist ein Phänomen, das in Machine Learning-Modellen auftritt, wenn sich die Bedeutung oder der Beitrag von Features zur Vorhersageausgabe im Laufe der Zeit ändert.

Schlüssel type BESCHREIBUNG Zulässige Werte Standardwert
type String Erforderlich. Art des Überwachungssignals. Die vordefinierte Verarbeitungskomponente für das Überwachungssignal wird automatisch entsprechend dem hier angegebenen type geladen. feature_attribution_drift feature_attribution_drift
production_data Array Optional: Fallback auf die standardmäßig gesammelten Daten, die dem Azure Machine Learning-Endpunkt zugeordnet sind, wenn keine Angabe erfolgt. production_data ist eine Liste von Datasets und der zugehörigen Metadaten, sie muss sowohl Modelleingabe- als auch Modellausgabedaten enthalten. Es kann sich um ein einzelnes Dataset mit Modelleingaben und -ausgaben oder um zwei separate Datasets handeln (eines mit Modelleingaben und eines mit Modellausgaben).
production_data.input_data Object Optional: Eine Beschreibung der Eingabedatenquelle finden Sie in der Spezifikation für Auftragseingabedaten.
production_data.input_data.data_column_names Objekt Namen der Korrelationsspalte und Vorhersagespalte im Format key:value, die für das Verknüpfen von Daten erforderlich sind. Zulässige Schlüssel sind: correlation_id, target_column
production_data.data_context String Der Kontext der Daten. Bezieht sich auf Eingabedaten des Produktionsmodells. model_inputs, model_outputsmodel_inputs_outputs
production_data.data_window Objekt Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften production_data.data_window.lookback_window_offset und production_data.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften production_data.data_window.window_start und production_data.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
production_data.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn production_data.input_data.typeuri_folder ist, siehe Vorverarbeitungskomponentenspezifikation.
production_data.data_window_size String Optional. Datenfenstergröße in Tagen mit ISO8601-Format, z. B. P7D. Dies ist das Produktionsdatenfenster, das für Datenqualitätsprobleme berechnet werden soll. Standardmäßig entspricht die Größe des Datenfensters dem letzten Überwachungszeitraum.
reference_data Object Optional: Zuletzt verwendete Produktionsdaten werden als Vergleichsbaselinedaten verwendet, wenn dies nicht angegeben ist. Es wird empfohlen, Trainingsdaten als Vergleichsbaseline zu verwenden.
reference_data.input_data Object Eine Beschreibung der Eingabedatenquelle finden Sie in der Spezifikation für Auftragseingabedaten.
reference_data.data_context String Der Kontext der Daten. Bezieht sich auf den Kontext, den das Dataset zuvor verwendet hat. Für die Datendrift bei der Featurezuordnung sind nur training-Daten zulässig. training
reference_data.data_column_names.target_column String Erforderlich.
reference_data.data_window Objekt Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften reference_data.data_window.lookback_window_offset und reference_data.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften reference_data.data_window.window_start und reference_data.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
reference_data.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn reference_data.input_data.typeuri_folder ist, siehe Vorverarbeitungskomponentenspezifikation.
alert_enabled Boolean Aktivieren/Deaktivieren der Warnungsbenachrichtigung für das Überwachungssignal. True oder False
metric_thresholds Object Metrikname und Schwellenwert für die Datendrift bei der Featurezuordnung im Format key:value, wobei key der Metrikname und value der Schwellenwert ist. Wenn der Schwellenwert überschritten wird und alert_enabled aktiviert ist, erhält der Benutzer eine Warnungsbenachrichtigung. Zulässiger Metrikname: normalized_discounted_cumulative_gain

Benutzerdefiniertes Überwachungssignal

Benutzerdefiniertes Überwachungssignal über eine benutzerdefinierte Azure Machine Learning-Komponente.

Schlüssel type BESCHREIBUNG Zulässige Werte Standardwert
type String Erforderlich. Art des Überwachungssignals. Die vordefinierte Verarbeitungskomponente für das Überwachungssignal wird automatisch entsprechend dem hier angegebenen type geladen. custom custom
component_id String Erforderlich. Die Azure Machine Learning-Komponenten-ID, die Ihrem benutzerdefinierten Signal entspricht. Beispiel: azureml:mycustomcomponent:1
input_data Objekt Optional. Beschreibung der eingabedaten, die vom Überwachungssignal analysiert werden sollen, siehe Auftragseingabedatenspezifikation .
input_data.<data_name>.data_context String Der Kontext der Daten verweist auf Modellproduktionsdaten. Es kann sich um Modelleingaben oder Modellausgaben handeln. model_inputs
input_data.<data_name>.data_window Objekt Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften input_data.<data_name>.data_window.lookback_window_offset und input_data.<data_name>.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften input_data.<data_name>.data_window.window_start und input_data.<data_name>.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
input_data.<data_name>.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn input_data.<data_name>.input_data.typeuri_folder ist, siehe Vorverarbeitungskomponentenspezifikation.
alert_enabled Boolean Aktivieren/Deaktivieren der Warnungsbenachrichtigung für das Überwachungssignal. True oder False
metric_thresholds.metric_name Objekt Name der benutzerdefinierten Metrik.
threshold Objekt Zulässiger Schwellenwert für die benutzerdefinierte Metrik.

Modellleistung (Vorschau)

Die Modellleistung verfolgt die objektive Leistung der Ausgabe eines Modells in der Produktion, indem sie mit gesammelten Ground-Truth-Daten verglichen wird.

Schlüssel type BESCHREIBUNG Zulässige Werte Standardwert
type String Erforderlich. Art des Überwachungssignals. Die vordefinierte Verarbeitungskomponente für das Überwachungssignal wird automatisch entsprechend dem hier angegebenen type geladen. model_performance model_performance
production_data Array Optional: Fallback auf die standardmäßig gesammelten Daten, die dem Azure Machine Learning-Endpunkt zugeordnet sind, wenn keine Angabe erfolgt. production_data ist eine Liste von Datasets und der zugehörigen Metadaten, sie muss sowohl Modelleingabe- als auch Modellausgabedaten enthalten. Es kann sich um ein einzelnes Dataset mit Modelleingaben und -ausgaben oder um zwei separate Datasets handeln (eines mit Modelleingaben und eines mit Modellausgaben).
production_data.input_data Object Optional: Eine Beschreibung der Eingabedatenquelle finden Sie in der Spezifikation für Auftragseingabedaten.
production_data.input_data.data_column_names Objekt Namen der Korrelationsspalte und Vorhersagespalte im Format key:value, die für das Verknüpfen von Daten erforderlich sind. Zulässige Schlüssel sind: correlation_id, target_column
production_data.data_context String Der Kontext der Daten. Bezieht sich auf Eingabedaten des Produktionsmodells. model_inputs, model_outputsmodel_inputs_outputs
production_data.data_window Objekt Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften production_data.data_window.lookback_window_offset und production_data.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften production_data.data_window.window_start und production_data.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
production_data.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn production_data.input_data.typeuri_folder ist, siehe Vorverarbeitungskomponentenspezifikation.
production_data.data_window_size String Optional. Datenfenstergröße in Tagen mit ISO8601-Format, z. B. P7D. Dies ist das Produktionsdatenfenster, das für Datenqualitätsprobleme berechnet werden soll. Standardmäßig entspricht die Größe des Datenfensters dem letzten Überwachungszeitraum.
reference_data Object Optional: Zuletzt verwendete Produktionsdaten werden als Vergleichsbaselinedaten verwendet, wenn dies nicht angegeben ist. Es wird empfohlen, Trainingsdaten als Vergleichsbaseline zu verwenden.
reference_data.input_data Object Eine Beschreibung der Eingabedatenquelle finden Sie in der Spezifikation für Auftragseingabedaten.
reference_data.data_context String Der Kontext der Daten. Bezieht sich auf den Kontext, den das Dataset zuvor verwendet hat. Für die Datendrift bei der Featurezuordnung sind nur training-Daten zulässig. training
reference_data.data_column_names.target_column String Erforderlich.
reference_data.data_window Objekt Optional. Datenfenster der Referenzdaten, die als Baselinedaten für den Vergleich verwendet werden sollen. Lassen Sie entweder ein rollierendes Datenfenster oder ein festes Datenfenster zu. Für die Verwendung eines rollierenden Datenfensters geben Sie die Eigenschaften reference_data.data_window.lookback_window_offset und reference_data.data_window.lookback_window_size an. Wenn Sie feste Datenfenster verwenden möchten, geben Sie die Eigenschaften reference_data.data_window.window_start und reference_data.data_window.window_end an. Alle Eigenschaftswerte müssen im ISO8601 Format vorliegen.
reference_data.pre_processing_component String Komponenten-ID im Format azureml:myPreprocessing@latest für eine registrierte Komponente. Dies ist erforderlich, wenn reference_data.input_data.typeuri_folder ist, siehe Vorverarbeitungskomponentenspezifikation.
alert_enabled Boolean Aktivieren/Deaktivieren der Warnungsbenachrichtigung für das Überwachungssignal. True oder False
metric_thresholds.classification Objekt Optional: Liste der Metriken und Schwellenwerte im key:value-Format, wobei key der Metrikname und value der Schwellenwert ist. Zulässige classification-Metriknamen: accuracy, precision, recall
metric_thresholds.regression Objekt Optional: Liste der Metriken und Schwellenwerte im key:value-Format, wobei key der Metrikname und value der Schwellenwert ist. Zulässige regression-Metriknamen: mae, mse, rmse

Hinweise

Mit dem Befehl az ml schedule können Sie Azure Machine Learning-Modelle verwalten.

Beispiele

Monitoring CLI-Beispiele sind in den Beispielen GitHub-Repository verfügbar. Einige sind wie folgt:

YAML: Out-of-Box-Monitor

GILT FÜRAzure CLI-ML-Erweiterung v2 (aktuell)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: Erweiterter Monitor

GILT FÜRAzure CLI-ML-Erweiterung v2 (aktuell)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Anhang

Zeitzone

Der aktuelle Zeitplan unterstützt die folgenden Zeitzonen. Der Schlüssel kann direkt im Python SDK verwendet werden, während der Wert im YAML-Auftrag verwendet werden kann. Die Tabelle wird von UTC(Koordinierte Universelle Zeit) organisiert.

UTC Schlüssel Wert
UTC+12:00 DATELINE_STANDARD_TIME „Datumsgrenze Normalzeit“
UTC+11:00 UTC_11 „UTC+11“
UTC+10:00 ALEUTIAN_STANDARD_TIME Aleuten Normalzeit
UTC+10:00 HAWAIIAN_STANDARD_TIME „Hawaii Normalzeit“
UTC+09:30 MARQUESAS_STANDARD_TIME „Marquesas Normalzeit“
UTC+09:00 ALASKAN_STANDARD_TIME „Alaska Normalzeit“
UTC+09:00 UTC_09 „UTC+09“
UTC -08:00 PACIFIC_STANDARD_TIME_MEXICO „Pacific Normalzeit (Mexiko)“
UTC -08:00 UTC_08 „UTC+08“
UTC -08:00 PACIFIC_STANDARD_TIME „Pacific Normalzeit“
UTC+07:00 US_MOUNTAIN_STANDARD_TIME „Mountain Normalzeit (Arizona)“
UTC+07:00 MOUNTAIN_STANDARD_TIME_MEXICO „Mountain Normalzeit (Mexiko)“
UTC+07:00 MOUNTAIN_STANDARD_TIME „Mountain Normalzeit“
UTC+06:00 CENTRAL_AMERICA_STANDARD_TIME „Mittelamerikanische Normalzeit“
UTC+06:00 CENTRAL_STANDARD_TIME „Central Normalzeit“
UTC+06:00 EASTER_ISLAND_STANDARD_TIME „Osterinsel Normalzeit“
UTC+06:00 CENTRAL_STANDARD_TIME_MEXICO „Central Normalzeit (Mexiko)“
UTC+06:00 CANADA_CENTRAL_STANDARD_TIME „Central Normalzeit (Kanada)“
UTC+05:00 SA_PACIFIC_STANDARD_TIME „Westl. Südamerika Normalzeit“
UTC+05:00 EASTERN_STANDARD_TIME_MEXICO „Eastern Normalzeit (Mexiko)“
UTC+05:00 EASTERN_STANDARD_TIME „Eastern Normalzeit“
UTC+05:00 HAITI_STANDARD_TIME „Haiti Normalzeit“
UTC+05:00 CUBA_STANDARD_TIME "Kuba Normalzeit"
UTC+05:00 US_EASTERN_STANDARD_TIME „Eastern Normalzeit (Indiana)“
UTC+05:00 TURKS_AND_CAICOS_STANDARD_TIME „Turks- und Caicosinseln Normalzeit“
UTC -04:00 PARAGUAY_STANDARD_TIME „Paraguay Normalzeit“
UTC -04:00 ATLANTIC_STANDARD_TIME „Atlantic Normalzeit“
UTC -04:00 VENEZUELA_STANDARD_TIME „Venezuela Normalzeit“
UTC -04:00 CENTRAL_BRAZILIAN_STANDARD_TIME „Zentralbrasilianische Normalzeit“
UTC -04:00 SA_WESTERN_STANDARD_TIME „Mittl. Südamerika Normalzeit“
UTC -04:00 PACIFIC_SA_STANDARD_TIME „Chilenische Normalzeit“
UTC+03:30 NEWFOUNDLAND_STANDARD_TIME „Neufundland Normalzeit“
UTC -03:00 TOCANTINS_STANDARD_TIME „Tocantins Normalzeit“
UTC -03:00 E_SOUTH_AMERICAN_STANDARD_TIME „E. Östl. Südamerika Normalzeit“
UTC -03:00 SA_EASTERN_STANDARD_TIME „Östl. Südamerika Normalzeit“
UTC -03:00 ARGENTINA_STANDARD_TIME „Argentinien Normalzeit“
UTC -03:00 GREENLAND_STANDARD_TIME „Grönland Normalzeit“
UTC -03:00 MONTEVIDEO_STANDARD_TIME „Montevideo Standard Time"
UTC -03:00 SAINT_PIERRE_STANDARD_TIME „Saint-Pierre Normalzeit“
UTC -03:00 BAHIA_STANDARD_TIM „Bahia Normalzeit“
UTC -02:00 UTC_02 "UTC-02"
UTC -02:00 MID_ATLANTIC_STANDARD_TIME „Mittelatlantik Normalzeit“
UTC -01:00 AZORES_STANDARD_TIME „Azoren Normalzeit“
UTC -01:00 CAPE_VERDE_STANDARD_TIME „Cabo Verde Normalzeit“
UTC UTC UTC
UTC +00:00 GMT_STANDARD_TIME „Westeuropäische Zeit“
UTC +00:00 GREENWICH_STANDARD_TIME „Westafrikanische Normalzeit“
UTC +01:00 MOROCCO_STANDARD_TIME „Marokko Normalzeit“
UTC +01:00 W_EUROPE_STANDARD_TIME „W. Osteuropäische Zeit“
UTC +01:00 CENTRAL_EUROPE_STANDARD_TIME „Mitteleuropäische Zeit“
UTC +01:00 ROMANCE_STANDARD_TIME „Mitteleuropäische Zeit“
UTC +01:00 CENTRAL_EUROPEAN_STANDARD_TIME „Mitteleuropäische Zeit“
UTC +01:00 W_CENTRAL_AFRICA_STANDARD_TIME „W. West-Zentralafrika Normalzeit“
UTC +02:00 NAMIBIA_STANDARD_TIME „Namibia Normalzeit“
UTC +02:00 JORDAN_STANDARD_TIME „Jordanien Normalzeit“
UTC +02:00 GTB_STANDARD_TIME „Osteuropäische Zeit“
UTC +02:00 MIDDLE_EAST_STANDARD_TIME „Naher Osten Normalzeit“
UTC +02:00 EGYPT_STANDARD_TIME „Ägypten Normalzeit“
UTC +02:00 E_EUROPE_STANDARD_TIME „E. Osteuropäische Zeit“
UTC +02:00 SYRIA_STANDARD_TIME „Syrien Normalzeit“
UTC +02:00 WEST_BANK_STANDARD_TIME „Westjordanland Normalzeit“
UTC +02:00 SOUTH_AFRICA_STANDARD_TIME „Südafrika Normalzeit“
UTC +02:00 FLE_STANDARD_TIME „Osteuropäische Zeit“
UTC +02:00 ISRAEL_STANDARD_TIME „Israel Normalzeit“
UTC +02:00 KALININGRAD_STANDARD_TIME „Kaliningrad Normalzeit“
UTC +02:00 LIBYA_STANDARD_TIME „Libyen Normalzeit“
UTC+03:00 TÜRKIYE_STANDARD_TIME „Türkische Standardzeit“
UTC+03:00 ARABIC_STANDARD_TIME „Arabische Normalzeit“
UTC+03:00 ARAB_STANDARD_TIME „Arabische Normalzeit“
UTC+03:00 BELARUS_STANDARD_TIME „Belarus Normalzeit“
UTC+03:00 RUSSIAN_STANDARD_TIME „Russische Normalzeit“
UTC+03:00 E_AFRICA_STANDARD_TIME „E. Ostafrikanische Normalzeit“
UTC+03:30 IRAN_STANDARD_TIME „Iran Normalzeit“
UTC +04:00 ARABIAN_STANDARD_TIME „Arabische Normalzeit“
UTC +04:00 ASTRAKHAN_STANDARD_TIME „Astrachan Normalzeit“
UTC +04:00 AZERBAIJAN_STANDARD_TIME „Aserbaidschan Normalzeit“
UTC +04:00 RUSSIA_TIME_ZONE_3 „Russland Zeitzone 3“
UTC +04:00 MAURITIUS_STANDARD_TIME „Mauritius Normalzeit“
UTC +04:00 GEORGIAN_STANDARD_TIME „Georgische Normalzeit“
UTC +04:00 CAUCASUS_STANDARD_TIME „Kaukasische Normalzeit“
UTC +04:30 AFGHANISTAN_STANDARD_TIME „Afghanistan Normalzeit“
UTC +05:00 WEST_ASIA_STANDARD_TIME "West Asien Normalzeit"
UTC +05:00 EKATERINBURG_STANDARD_TIME "Jekaterinburg Normalzeit"
UTC +05:00 PAKISTAN_STANDARD_TIME "Pakistan Normalzeit"
UTC+05:30 INDIA_STANDARD_TIME "Indien Normalzeit"
UTC+05:30 SRI_LANKA_STANDARD_TIME "Sri Lanka Normalzeit"
UTC+05:45 NEPAL_STANDARD_TIME "Nepal Normalzeit"
UTC+06:00 CENTRAL_ASIA_STANDARD_TIME "Nord-Zentralasien Normalzeit"
UTC+06:00 BANGLADESH_STANDARD_TIME "Bangladesch Normalzeit"
UTC+06:30 MYANMAR_STANDARD_TIME "Myanmar Normalzeit"
UTC+07:00 N_CENTRAL_ASIA_STANDARD_TIME n "Nord-Zentralasien Normalzeit"
UTC+07:00 SE_ASIA_STANDARD_TIME "Südostasiatische Normalzeit"
UTC+07:00 ALTAI_STANDARD_TIME "Altai Normalzeit"
UTC+07:00 W_MONGOLIA_STANDARD_TIME „W. Mongolei Normalzeit"
UTC+07:00 NORTH_ASIA_STANDARD_TIME "Nordasien Normalzeit"
UTC+07:00 TOMSK_STANDARD_TIME "Tomsk Normalzeit"
UTC +08:00 CHINA_STANDARD_TIME "China Normalzeit"
UTC +08:00 NORTH_ASIA_EAST_STANDARD_TIME "Ost-Nordasiatische Normalzeit"
UTC +08:00 SINGAPORE_STANDARD_TIME „Singapur Normalzeit“
UTC +08:00 W_AUSTRALIA_STANDARD_TIME „W. Zentralaustralische Normalzeit“
UTC +08:00 TAIPEI_STANDARD_TIME „Taipeh Normalzeit“
UTC +08:00 ULAANBAATAR_STANDARD_TIME „Ulan-Bator Normalzeit“
UTC+08:45 AUS_CENTRAL_W_STANDARD_TIME „Zentralaustralische Normalzeit“
UTC +09:00 NORTH_KOREA_STANDARD_TIME „Nordkorea Normalzeit“
UTC +09:00 TRANSBAIKAL_STANDARD_TIME „Transbaikal Normalzeit“
UTC +09:00 TOKYO_STANDARD_TIME „Japanische Normalzeit“
UTC +09:00 KOREA_STANDARD_TIME „Koreanische Normalzeit“
UTC +09:00 YAKUTSK_STANDARD_TIME „Jakutsk Normalzeit“
UTC+09:30 CEN_AUSTRALIA_STANDARD_TIME „Cen. Zentralaustralische Normalzeit“
UTC+09:30 AUS_CENTRAL_STANDARD_TIME „Zentralaustralische Normalzeit“
UTC+10:00 E_AUSTRALIAN_STANDARD_TIME „E. Zentralaustralische Normalzeit“
UTC+10:00 AUS_EASTERN_STANDARD_TIME „Ostaustralische Normalzeit“
UTC+10:00 WEST_PACIFIC_STANDARD_TIME „Westpazifische Normalzeit“
UTC+10:00 TASMANIA_STANDARD_TIME "Tasmanien Normalzeit"
UTC+10:00 VLADIVOSTOK_STANDARD_TIME „Wladiwostok Normalzeit“
UTC+10:30 LORD_HOWE_STANDARD_TIME „Lord-Howe Normalzeit“
UTC+11:00 BOUGAINVILLE_STANDARD_TIME „Bougainville Normalzeit“
UTC+11:00 RUSSIA_TIME_ZONE_10 „Russland Zeitzone 10“
UTC+11:00 MAGADAN_STANDARD_TIME „Magadan Normalzeit“
UTC+11:00 NORFOLK_STANDARD_TIME „Norfolk Normalzeit“
UTC+11:00 SAKHALIN_STANDARD_TIME „Sachalin Normalzeit“
UTC+11:00 CENTRAL_PACIFIC_STANDARD_TIME „Zentralpazifische Normalzeit“
UTC+12:00 RUSSIA_TIME_ZONE_11 „Russland Zeitzone 11“
UTC+12:00 NEW_ZEALAND_STANDARD_TIME „Neuseeland Normalzeit“
UTC+12:00 UTC_12 "UTC+12"
UTC+12:00 FIJI_STANDARD_TIME "Fidschi Normalzeit"
UTC+12:00 KAMCHATKA_STANDARD_TIME "Kamtschatka Normalzeit"
UTC+12:45 CHATHAM_ISLANDS_STANDARD_TIME "Chatham-Inseln Normalzeit"
UTC+13:00 TONGA__STANDARD_TIME "Tonga Normalzeit".
UTC+13:00 SAMOA_STANDARD_TIME "Samoa Normalzeit"
UTC+14:00 LINE_ISLANDS_STANDARD_TIME "Linieninseln Normalzeit"