练习 - 对机器学习模型评分来预测火箭发射是否成功

  • 3 分钟

要检查模型是否接近正确，简单比较结果为 Y 发射的数据百分比非常有用。 但是，它对实际进行模型评分来说更加有用。

为模型评分

与考试一样，学习情况可以用评分来衡量。 可以调用单行函数来查看模型预测是否会发射的准确性。

# Calculate accuracy
tree_model.score(X_test,y_test)

可以使用 score() 函数传入 X_test 输入数据和 y_test 输出数据来对模型进行“分级”。 评分越高，模型根据天气数据预测火箭发射结果的准确率就越高。

了解评分

本示例中模型的准确率为 98.3%，令人满意。 实际上，我们只进行了少量的数据清理和操作，而且数据存在已知问题，因此结果似乎过于令人满意。

或许是我们拥有的数据非常合适，并正确地训练了模型，所以才如此准确。 但也许这一准确率只是意味着我们比较擅长猜测这些不完全真实的数据。 因此该评分在现实世界中并不可靠。 在实际场景中，决策树分类器（首次运行时）的准确率通常为 70%。

如何确保分数本身准确代表了模型的准确性？

其中一种方法是要求专家填写未发射日期的 Y 和 N 数据，而不仅仅猜测结果是 N。 例如，发射前一天或后一天也适合发射的可能性可能高于该数据中表示的结果。