Modell-Sweeping und -Auswahl für Vorhersagen mit automatisiertem maschinellem Lernen
In diesem Artikel wird erläutert, wie das automatisierte maschinelle Lernen nach Vorhersagemodellen sucht und sie auswählt. Weitere allgemeine Informationen zur Vorhersagemethodik des automatisierten maschinellen Lernens finden Sie im Artikel mit der Methodenübersicht. Anweisungen und Beispiele zum Trainieren von Vorhersagemodellen in automatisiertem ML finden Sie in unserem Artikel Einrichten von AutoML zum Trainieren eines Zeitreihenvorhersagemodells mit Python.
Modell-Sweeping
Die zentrale Aufgabe des automatisierten maschinellen Lernens besteht darin, mehrere Modelle zu trainieren und auszuwerten und das beste Modell für die angegebene primäre Metrik auszuwählen. Das Wort „Modell“ bezieht sich hier sowohl auf die Modellklasse (z. B. ARIMA oder zufällige Gesamtstruktur) als auch auf die spezifischen Hyperparametereinstellungen, die Modelle innerhalb einer Klasse unterscheiden. ARIMA bezieht sich beispielsweise auf eine Klasse von Modellen mit einer gemeinsamen mathematischen Vorlage und einer Reihe gemeinsamer statistischer Annahmen. Zum Trainieren oder Anpassen eines ARIMA-Modells wird eine Liste mit positiven ganzen Zahlen benötigt, die die genaue mathematische Form des Modells angeben. Hierbei handelt es sich um die Hyperparameter. ARIMA(1, 0, 1) und ARIMA(2, 1, 2) haben die gleiche Klasse, aber unterschiedliche Hyperparameter und können daher separat mit den Trainingsdaten angepasst und in Relation zueinander ausgewertet werden. Das automatisierte maschinelle Lernen führt einen Suchvorgang (auch Sweeping genannt) für verschiedene Modellklassen und innerhalb von Klassen durch Variieren von Hyperparametern durch.
Die folgende Tabelle enthält die verschiedenen Methoden für das Hyperparameter-Sweeping, die das automatisierte maschinelle Lernen für verschiedene Modellklassen verwendet:
| Modellklassengruppe | Modelltyp | Methode für das Hyperparameter-Sweeping |
|---|---|---|
| „Naiv“, „Saisonal naiv“, „Durchschnitt“, „Saisonaler Durchschnitt“ | Zeitreihe | Kein Sweeping innerhalb der Klasse aufgrund der Einfachheit des Modells |
| „Exponentielle Glättung“, „ARIMA(X)“ | Zeitreihe | Rastersuche für Sweeping innerhalb der Klasse |
| Prophet | Regression | Kein Sweeping innerhalb der Klasse |
| „Stochastisches Gradientenabstiegsverfahren (SGD)“, „LARS LASSO“, „Elastisches Netz“, „K-Pixelwiederholung“, „Entscheidungsstruktur“, „Zufällige Gesamtstruktur“, „Extremely Randomized Trees“, „Gradient-Boosted-Strukturen“, „LightGBM“, „XGBoost“ | Regression | Der Modellempfehlungsdienst des automatisierten maschinellen Lernens untersucht Hyperparameterräume dynamisch. |
| ForecastTCN | Regression | Statische Liste der Modelle, gefolgt von einer Zufallssuche nach Netzwerkgröße, Abbruchverhältnis und Lernrate |
Eine Beschreibung der verschiedenen Modelltypen finden Sie im Abschnitt Vorhersagemodelle beim automatisierten maschinellen Lernen des Artikels mit der Methodenübersicht.
Der Umfang des Sweepings durch das automatisierte maschinelle Lernen hängt von der Konfiguration des Vorhersageauftrags ab. Die Beendigungskriterien können als Zeitlimit oder als Limit für die Anzahl von Testversionen (oder entsprechend für die Anzahl von Modellen) angegeben werden. Die Logik für die frühzeitige Beendigung kann in beiden Fällen verwendet werden, um das Sweeping zu beenden, wenn sich die primäre Metrik nicht verbessert.
Modellauswahl
Die Suche und Auswahl des Vorhersagemodells durch das automatisierte maschinelle Lernen umfasst drei Phasen:
- Prüfen von Zeitreihenmodellen und Auswählen des besten Modells aus jeder Klasse unter Verwendung abzugsbasierter Wahrscheinlichkeitsmethoden
- Prüfen und Bewerten von Regressionsmodellen – zusammen mit den besten Zeitreihenmodellen aus Phase 1 – anhand ihrer Werte für die primäre Metrik aus Validierungssätzen
- Erstellen eines Ensemblemodells aus den am besten bewerteten Modellen, berechnen der zugehörigen Validierungsmetrik und Bewerten mit anderen Modellen
Das Modell, das am Ende von Phase 3 über den am höchsten bewerteten Metrikwert verfügt, wird als das beste Modell betrachtet.
Wichtig
In der letzten Phase der Modellauswahl des automatisierten maschinellen Lernens werden immer Metriken für Daten außerhalb der Stichproben berechnet – also für Daten, die nicht für die Anpassung der Modelle verwendet wurden. Dies trägt zur Vermeidung von Überanpassung bei.
Das automatisierte maschinelle Lernen verfügt über zwei Validierungskonfigurationen: Kreuzvalidierung und explizite Validierungsdaten. Bei der Kreuzvalidierung verwendet das automatisierte maschinelle Lernen die Eingabekonfiguration, um Daten in Trainings- und Validierungsfaltungen aufzuteilen. Da bei diesen Aufteilungen die zeitliche Reihenfolge gewahrt bleiben muss, verwendet das automatisierte maschinelle Lernen die so genannte Kreuzvalidierung mit rollierendem Ursprung. Hierbei wird die Reihe unter Verwendung eines Ursprungszeitpunkts in Trainings- und Validierungsdaten unterteilt. Wenn der Ursprung zeitlich verschoben wird, werden Teilmengen für die Kreuzvalidierung erstellt. Jede Validierungsfaltung enthält den nächsten Horizont von Beobachtungen, die unmittelbar auf die Position des Ursprungs für die angegebene Faltung folgen. Mit dieser Strategie wird die Datenintegrität von Zeitreihen beibehalten und das Risiko von Informationslecks verringert.
Das automatisierte maschinelle Lernen folgt dem üblichen Kreuzvalidierungsverfahren: Es trainiert ein separates Modell für jede Faltung und berechnet den Durchschnitt der Validierungsmetriken aus allen Faltungen.
Zum Konfigurieren der Kreuzvalidierung für Vorhersageaufträge wird die Anzahl von Kreuzvalidierungsfaltungen und optional die Anzahl von Zeiträumen zwischen zwei aufeinanderfolgenden Kreuzvalidierungsfaltungen festgelegt. Weitere Informationen und ein Beispiel für das Konfigurieren der Kreuzvalidierung für Vorhersagen finden Sie unter Benutzerdefinierte Einstellungen für die Kreuzvalidierung.
Sie können auch Ihre eigenen Validierungsdaten verwenden. Weitere Informationen finden Sie im Artikel Konfigurieren der Datenaufteilung und Kreuzvalidierung in automatisiertem maschinellem Lernen (SDK v1)
Nächste Schritte
- Erfahren Sie mehr über das Einrichten von AutoML zum Trainieren eines Zeitreihenvorhersagemodells.
- Durchsuchen Sie Häufig gestellte Fragen zur AutoML-Vorhersage.
- Erfahren Sie mehr über Kalenderfeatures für Zeitreihenvorhersagen in AutoML.
- Erfahren Sie mehr über die Verwendung von maschinellem Lernen in AutoML zum Erstellen von Vorhersagemodellen.