Übung: Ermitteln des Scores des Machine Learning-Modells, mit dem ein erfolgreicher Raketenstart vorhergesagt wird
Ein einfacher Vergleich des Prozentsatzes der Daten, bei denen es zu einem Start (Y) kam, ist nützlich, um zu überprüfen, ob das Modell nahezu korrekt arbeitet. Dieser Vergleich ist jedoch noch nützlicher, um den Score des Modells zu bestimmen.
Bestimmen des Modell-Scores
Wie bei einer Prüfung kann der Lernerfolg mithilfe eines Ergebnisses (Score) gemessen werden. Sie können hierzu eine einzeilige Funktion aufrufen, mit der Sie sehen können, wie gut das Modell vorhersagte, ob ein Raketenstart stattfinden würde.
# Calculate accuracy
tree_model.score(X_test,y_test)
Mit der score()-Funktion übergeben Sie die X_test-Eingabedaten und die y_test-Ausgabedaten, um einen Ergebniswert für das Modell zu erhalten. Je höher der Score ist, desto besser sagt das Modell das Ergebnis eines Raketenstarts auf der Grundlage von Wetterdaten vorher.
Grundlegendes zum Score
Das Modell in diesem Beispiel weist eine Genauigkeit von 98,3 % auf, das ist gut. Tatsächlich scheint diese Genauigkeit angesichts der von uns vorgenommenen wenig aufwendigen Datenbereinigung und -bearbeitung und der bekannten Probleme der Daten ein wenig zu gut zu sein.
Möglicherweise verfügten wir über optimale Daten und haben das Modell ordnungsgemäß trainiert, um diese Genauigkeit zu erzielen. Vielleicht bedeutet dieser Grad der Genauigkeit aber auch, dass wir gut darin sind, diese etwas fabrizierten Daten zu erraten. So wäre dieser Score in der realen Welt nicht zuverlässig. Zur Einordnung: Bei einem Entscheidungsstrukturklassifizierer (und dessen erster Ausführung) ist eine Genauigkeit von 70 % ein gängiger Wert.
Wie lässt sich sicherstellen, dass der Score die Genauigkeit des Modells exakt widerspiegelt?
Eine Möglichkeit bestünde darin, einen Experten zu bitten, die Y- und N-Daten für die Nicht-Startdaten auszufüllen, anstatt lediglich N zu schätzen. Beispielsweise ist die Wahrscheinlichkeit, dass der Tag unmittelbar vor oder nach einem Start ebenfalls ein guter Tag für den Start ist, wohl höher, als es diese Daten zeigen.