Azure Machine Learning Studio (classic) でモデルのパフォーマンスを評価するEvaluate model performance in Azure Machine Learning Studio (classic)

適用対象: 適用対象: Machine Learning Studio (classic) 適用対象外: Azure Machine LearningAPPLIES TO: Applies to.Machine Learning Studio (classic) Does not apply to.Azure Machine Learning

この記事では、Azure Machine Learning Studio (classic) でモデルのパフォーマンスを監視するために使用できるメトリックについて説明します。In this article, you can learn about the metrics you can use to monitor model performance in Azure Machine Learning Studio (classic). モデルのパフォーマンスの評価は、データ サイエンス プロセスの重要な段階の 1 つです。Evaluating the performance of a model is one of the core stages in the data science process. その評価は、トレーニングしたモデルによるデータセットのスコア付け (予測) がどれほど成功したかを示す指標になります。It indicates how successful the scoring (predictions) of a dataset has been by a trained model. Azure Machine Learning Studio (クラシック) では、Azure Machine Learning Studio (classic) supports model evaluation through two of its main machine learning modules:

これらのモジュールを使用すれば、機械学習と統計情報でよく使用されるさまざまなメトリックの観点からモデルのパフォーマンスを確認できます。These modules allow you to see how your model performs in terms of a number of metrics that are commonly used in machine learning and statistics.

モデルの評価は、以下と一緒に検討する必要があります。Evaluating models should be considered along with:

以下の 3 種類の学習のシナリオを取り上げます。Three common supervised learning scenarios are presented:

  • 回帰regression
  • 二項分類binary classification
  • 多クラス分類multiclass classification

評価とクロス検証Evaluation vs. Cross Validation

評価とクロス検証は、モデルのパフォーマンスを測定する標準的な方法です。Evaluation and cross validation are standard ways to measure the performance of your model. どちらの場合も評価メトリックが生成されるので、そのメトリックを確認したり、他のモデルと比較したりできます。They both generate evaluation metrics that you can inspect or compare against those of other models.

[モデルの評価] では、スコア付けされたデータセットが入力として 1 つ必要になります (2 つのモデルのパフォーマンスを比較する場合は 2 つ必要です)。Evaluate Model expects a scored dataset as input (or two in case you would like to compare the performance of two different models). そのため、結果を評価する前に、[モデルのトレーニング] モジュールでモデルのトレーニングを実行し、[モデルのスコア付け] モジュールでデータセットの予測を作成しておく必要があります。Therefore, you need to train your model using the Train Model module and make predictions on some dataset using the Score Model module before you can evaluate the results. この評価は、スコア付けされたラベル/確率と実際のラベルに基づいて行われます。これらはすべて、[モデルのスコア付け] モジュールから出力されます。The evaluation is based on the scored labels/probabilities along with the true labels, all of which are output by the Score Model module.

あるいは、クロス検証を使用して、入力データの各サブセットに対して 10 分割のトレーニング/スコア付け/評価の操作を自動的に実行することもできます。Alternatively, you can use cross validation to perform a number of train-score-evaluate operations (10 folds) automatically on different subsets of the input data. その場合、入力データは 10 分割され、1 つはテスト用、残りの 9 つはトレーニング用になります。The input data is split into 10 parts, where one is reserved for testing, and the other 9 for training. このプロセスが 10 回繰り返され、評価メトリックは平均化されます。This process is repeated 10 times and the evaluation metrics are averaged. そのようにして、モデルが新しいデータセットにどの程度汎用化されるかを確認できます。This helps in determining how well a model would generalize to new datasets. [モデルのクロス検証] モジュールでは、トレーニングをしていないモデルとラベルの付いたデータセットを取り込んで、10 回の処理のそれぞれの評価結果と平均値を出力します。The Cross-Validate Model module takes in an untrained model and some labeled dataset and outputs the evaluation results of each of the 10 folds, in addition to the averaged results.

以下の各セクションでは、シンプルな回帰モデルと分類モデルを作成し、[モデルの評価] モジュールと [モデルのクロス検証] モジュールを使用してそれぞれのパフォーマンスを評価します。In the following sections, we will build simple regression and classification models and evaluate their performance, using both the Evaluate Model and the Cross-Validate Model modules.

回帰モデルの評価Evaluating a Regression Model

自動車の大きさ、馬力、エンジンの仕様などの特徴を利用して、価格を予測するとします。Assume we want to predict a car's price using features such as dimensions, horsepower, engine specs, and so on. これは、ターゲット変数 (価格) が連続数値になる典型的な回帰問題です。This is a typical regression problem, where the target variable (price) is a continuous numeric value. 自動車のさまざまな特徴の値に基づいて価格を予測する線形回帰モデルを作成できます。We can fit a linear regression model that, given the feature values of a certain car, can predict the price of that car. この回帰モデルを使用して、トレーニングで使用したのと同じデータセットのスコア付けを行うことができます。This regression model can be used to score the same dataset we trained on. 自動車の価格を予測したら、その予測と実際の価格の差異の平均値に基づいてモデルのパフォーマンスを評価できます。Once we have the predicted car prices, we can evaluate the model performance by looking at how much the predictions deviate from the actual prices on average. その一例として、Machine Learning Studio (クラシック) の [保存されたデータセット] セクションにある 自動車価格データ (生データ) データセット を使用します。To illustrate this, we use the Automobile price data (Raw) dataset available in the Saved Datasets section in Machine Learning Studio (classic).

実験の作成Creating the Experiment

Azure Machine Learning Studio (クラシック) で以下のモジュールをワークスペースに追加します。Add the following modules to your workspace in Azure Machine Learning Studio (classic):

図 1 のようにポートを接続し、[モデルのトレーニング] モジュールのラベル列を price に設定します。Connect the ports as shown below in Figure 1 and set the Label column of the Train Model module to price.

回帰モデルの評価

図 1.Figure 1. 回帰モデルの評価。Evaluating a Regression Model.

評価結果の確認Inspecting the Evaluation Results

実験を実行したら、[モデルの評価] モジュールの出力ポートをクリックし、"視覚化" を選択して評価結果を確認できます。After running the experiment, you can click on the output port of the Evaluate Model module and select Visualize to see the evaluation results. 回帰モデルで使用できる評価メトリックは、"平均絶対誤差"、"二乗平均絶対誤差"、"相対絶対誤差"、"相対二乗誤差"、"決定係数" です。The evaluation metrics available for regression models are: Mean Absolute Error, Root Mean Absolute Error, Relative Absolute Error, Relative Squared Error, and the Coefficient of Determination.

ここでは、予測の値と実際の値の差異のことを「誤差」といいます。The term "error" here represents the difference between the predicted value and the true value. 予測の値と実際の値の差が負の値になることもあるので、通常は、この差の絶対値または 2 乗が計算され、すべての事例の誤差が全体でどれほどの大きさになっているかを確認します。The absolute value or the square of this difference is usually computed to capture the total magnitude of error across all instances, as the difference between the predicted and true value could be negative in some cases. 誤差のメトリックでは、実際の値に対する予測の値の平均偏差に基づいて回帰モデルの予測パフォーマンスを測定します。The error metrics measure the predictive performance of a regression model in terms of the mean deviation of its predictions from the true values. 誤差の値が小さければ小さいほど、モデルの予測が正確だということになります。Lower error values mean the model is more accurate in making predictions. 全体の誤差のメトリックがゼロであれば、そのモデルはデータに完璧に適合しています。An overall error metric of zero means that the model fits the data perfectly.

決定係数 (R 2 乗) も、モデルとデータがどれほど適合しているかを測定するための標準的な方法です。The coefficient of determination, which is also known as R squared, is also a standard way of measuring how well the model fits the data. これは、モデルで説明される変動の比率として解釈できます。It can be interpreted as the proportion of variation explained by the model. この場合は、比率が高いほど良く、1 は完璧に適合している状態です。A higher proportion is better in this case, where 1 indicates a perfect fit.

線形回帰の評価メトリック

図 2.Figure 2. 線形回帰の評価メトリック。Linear Regression Evaluation Metrics.

クロス検証の使用Using Cross Validation

前述のとおり、[モデルのクロス検証] モジュールを使用すれば、トレーニング/スコア付け/評価の反復処理を自動的に実行できます。As mentioned earlier, you can perform repeated training, scoring, and evaluations automatically using the Cross-Validate Model module. この場合に必要なのは、データセット、トレーニングしていないモデル、および [モデルのクロス検証] モジュールのみです (下の図をご覧ください)。All you need in this case is a dataset, an untrained model, and a Cross-Validate Model module (see figure below). [モデルのクロス検証] モジュールのプロパティで、ラベル列を price に設定する必要があります。You need to set the label column to price in the Cross-Validate Model module's properties.

回帰モデルのクロス検証

図 3:Figure 3. 回帰モデルのクロス検証。Cross-Validating a Regression Model.

実験を実行したら、[モデルのクロス検証] モジュールの該当する出力ポートをクリックして、評価結果を確認できます。After running the experiment, you can inspect the evaluation results by clicking on the right output port of the Cross-Validate Model module. それぞれの反復処理 (分割処理) の詳細と、各メトリックの結果の平均値が表示されます (図 4)。This will provide a detailed view of the metrics for each iteration (fold), and the averaged results of each of the metrics (Figure 4).

回帰モデルのクロス検証の結果

図 4:Figure 4. 回帰モデルのクロス検証の結果。Cross-Validation Results of a Regression Model.

二項分類モデルの評価Evaluating a Binary Classification Model

二項分類のシナリオでは、ターゲット変数には 2 つの選択肢しかありません。たとえば、{0, 1}、{偽, 真}、{負, 正} などです。In a binary classification scenario, the target variable has only two possible outcomes, for example: {0, 1} or {false, true}, {negative, positive}. いくつかの人口統計や雇用の変数が含まれた成人従業員のデータセットが提供され、値 {"<=50 K", ">50 K"} を使った二項変数の収入レベルを予測するように依頼されたとします。Assume you are given a dataset of adult employees with some demographic and employment variables, and that you are asked to predict the income level, a binary variable with the values {"<=50 K", ">50 K"}. つまり、年収が 5 万ドル以下の従業員を表す負のクラスと、その他の従業員を表す正のクラスです。In other words, the negative class represents the employees who make less than or equal to 50 K per year, and the positive class represents all other employees. 回帰のシナリオの場合と同じく、モデルのトレーニング、データのスコア付け、結果の評価を行います。As in the regression scenario, we would train a model, score some data, and evaluate the results. おもな違いは、Azure Machine Learning Studio (クラシック) で計算されて出力されるメトリックの選択です。The main difference here is the choice of metrics Azure Machine Learning Studio (classic) computes and outputs. この収入レベルの予測シナリオでは、Adult データセットを使用して Studio (クラシック) の実験を作成し、よく使われている二項分類モデルである 2 クラスのロジスティック回帰モデルのパフォーマンスを評価します。To illustrate the income level prediction scenario, we will use the Adult dataset to create a Studio (classic) experiment and evaluate the performance of a two-class logistic regression model, a commonly used binary classifier.

実験の作成Creating the Experiment

Azure Machine Learning Studio (クラシック) で以下のモジュールをワークスペースに追加します。Add the following modules to your workspace in Azure Machine Learning Studio (classic):

図 5 のようにポートを接続し、[モデルのトレーニング] モジュールのラベル列を income に設定します。Connect the ports as shown below in Figure 5 and set the Label column of the Train Model module to income.

二項分類モデルの評価

図 5:Figure 5. 二項分類モデルの評価。Evaluating a Binary Classification Model.

評価結果の確認Inspecting the Evaluation Results

実験を実行したら、[モデルの評価] モジュールの出力ポートをクリックし、"視覚化" を選択して評価結果を確認できます (図 7)。After running the experiment, you can click on the output port of the Evaluate Model module and select Visualize to see the evaluation results (Figure 7). 二項分類モデルで使用できる評価メトリックは、"精度"、"正確度"、"再現率"、"F1 スコア"、"AUC" です。The evaluation metrics available for binary classification models are: Accuracy, Precision, Recall, F1 Score, and AUC. さらに、このモジュールは、真陽性、偽陰性、偽陽性、真陰性の数を示す混同行列と "ROC"、"正確度/再現性"、"リフト" の曲線を出力します。In addition, the module outputs a confusion matrix showing the number of true positives, false negatives, false positives, and true negatives, as well as ROC, Precision/Recall, and Lift curves.

精度とは、簡単に言えば正しく分類された事例の比率です。Accuracy is simply the proportion of correctly classified instances. 分類モデルを評価するときは通常、精度のメトリックに最初に注目します。It is usually the first metric you look at when evaluating a classifier. しかし、テスト データのバランスが悪い (ほとんどの事例が一方のクラスに属している )場合や、一方のクラスのパフォーマンスに主な関心がある場合には、実際には精度によって分類モデルの有効性が捕捉されるわけではありません。However, when the test data is unbalanced (where most of the instances belong to one of the classes), or you are more interested in the performance on either one of the classes, accuracy doesn't really capture the effectiveness of a classifier. たとえば、収入レベルの分類シナリオで、99% が年収 5 万ドル以下の層に属するデータをテストしているとしましょう。In the income level classification scenario, assume you are testing on some data where 99% of the instances represent people who earn less than or equal to 50K per year. どの事例についても "<=50K" の層を予測することで、0.99 の精度を達成することが可能です。It is possible to achieve a 0.99 accuracy by predicting the class "<=50K" for all instances. この分類モデルのパフォーマンスは非常に高いように思えるかもしれませんが、実際のところ、高収入の人たち (1%) を正確に分類することはできません。The classifier in this case appears to be doing a good job overall, but in reality, it fails to classify any of the high-income individuals (the 1%) correctly.

そのため、多角的に評価するには、さらに別のメトリックを計算する必要があります。For that reason, it is helpful to compute additional metrics that capture more specific aspects of the evaluation. そのようなメトリックを詳しく取り上げる前に、二項分類の評価の混同行列について理解しておくことは重要です。Before going into the details of such metrics, it is important to understand the confusion matrix of a binary classification evaluation. トレーニング セットのクラス ラベルには 2 つの値しかありません。通常は、正の値と負の値です。The class labels in the training set can take on only two possible values, which we usually refer to as positive or negative. 分類モデルが正しく予測した正の事例と負の事例のことを、それぞれ真陽性 (TP) と真陰性 (TN) といいます。The positive and negative instances that a classifier predicts correctly are called true positives (TP) and true negatives (TN), respectively. また、間違って分類した事例のことを、それぞれ偽陽性 (FP) と偽陰性 (FN) といいます。Similarly, the incorrectly classified instances are called false positives (FP) and false negatives (FN). 混同行列とは、簡単に言えば、この 4 つの分類に該当する事例の数をまとめた表です。The confusion matrix is simply a table showing the number of instances that fall under each of these four categories. Azure Machine Learning Studio (クラシック) では、データセット内の 2 つのクラスが正のクラスとして自動的に設定されます。Azure Machine Learning Studio (classic) automatically decides which of the two classes in the dataset is the positive class. クラス ラベルがブール値または整数値であれば、「真」または「1」のラベルの事例が正のクラスに割り当てられます。If the class labels are Boolean or integers, then the 'true' or '1' labeled instances are assigned the positive class. 収入のデータセットの場合のようにラベルが文字列であれば、ラベルがアルファベット順に並べ替えられ、最初に選択されるレベルが負のクラス、2 番目のレベルが正のクラスになります。If the labels are strings, such as with the income dataset, the labels are sorted alphabetically and the first level is chosen to be the negative class while the second level is the positive class.

二項分類の混同行列

図 6:Figure 6. 二項分類の混同行列。Binary Classification Confusion Matrix.

収入の分類問題に戻りましょう。分類モデルのパフォーマンスを評価するために、いくつかのことを確認したいと思います。Going back to the income classification problem, we would want to ask several evaluation questions that help us understand the performance of the classifier used. まず思い浮かぶのは次のような点です。モデルによって年収が 5 万ドル超えと予測された人 (TP+FP) のうち、その分類が正しかった人 (TP) の割合はどれほどでしょうか。A natural question is: 'Out of the individuals whom the model predicted to be earning >50 K (TP+FP), how many were classified correctly (TP)?' これを確かめるには、モデルの 精度 (正しく分類された陽性の比率:TP/(TP+FP)) を確認します。This question can be answered by looking at the Precision of the model, which is the proportion of positives that are classified correctly: TP/(TP+FP). また、次のような疑問も思い浮かびます。年収が 5 万ドルを超える高収入の従業員 (TP+FN) のうち、その分類モデルによって正しく分類された人 (TP) の割合はどれほどでしょうか。Another common question is "Out of all the high earning employees with income >50k (TP+FN), how many did the classifier classify correctly (TP)". これは実際には 再現率 または真陽性率になります。つまり、分類子の TP/(TP+FN) になります。This is actually the Recall, or the true positive rate: TP/(TP+FN) of the classifier. お気づきかもしれませんが、精度と再現率はトレードオフの関係になっています。You might notice that there is an obvious trade-off between precision and recall. たとえば、比較的バランスの取れたデータセットの場合、ほとんどを正の事例として予測する分類モデルは、再現率が高くなります。一方、負の事例の多くが間違って分類され、偽陽性の数が多くなるので、精度は低めになります。For example, given a relatively balanced dataset, a classifier that predicts mostly positive instances, would have a high recall, but a rather low precision as many of the negative instances would be misclassified resulting in a large number of false positives. 評価結果の出力ページ (図 7 の左上の部分) にある 精度/再現率 曲線をクリックすれば、この 2 つのメトリックがどう変化するかを示すプロットを表示できます。To see a plot of how these two metrics vary, you can click on the PRECISION/RECALL curve in the evaluation result output page (top-left part of Figure 7).

二項分類の評価結果

図 7:Figure 7. 二項分類の評価結果。Binary Classification Evaluation Results.

F1 スコア もよく使うメトリックです。この場合は、精度と再現率の両方を考慮に入れます。Another related metric that is often used is the F1 Score, which takes both precision and recall into consideration. つまり、その 2 つのメトリックの調和平均であり、F1 = 2 (精度 x 再現率) / (精度 + 再現率) という計算になります。It is the harmonic mean of these two metrics and is computed as such: F1 = 2 (precision x recall) / (precision + recall). F1 スコアは、1 つの数字で評価を要約するための便利な方法ですが、分類モデルの動作の仕組みをより詳しく把握するには、精度と再現率の両方を併せて確認することをお勧めします。The F1 score is a good way to summarize the evaluation in a single number, but it's always a good practice to look at both precision and recall together to better understand how a classifier behaves.

さらに、受信者操作特性 (ROC) 曲線とそれに対応する 曲線下面積 (AUC) 値で真陽性率と偽陽性率の対比を確認できます。In addition, one can inspect the true positive rate vs. the false positive rate in the Receiver Operating Characteristic (ROC) curve and the corresponding Area Under the Curve (AUC) value. この曲線が左上隅に近いほど、分類モデルのパフォーマンスは良好です (つまり、真陽性率が高く、偽陽性率が低くなります)。The closer this curve is to the upper left corner, the better the classifier's performance is (that is maximizing the true positive rate while minimizing the false positive rate). ほぼ当てずっぽうのような予測をする傾向の強い分類モデルでは、プロットの対角線に近い曲線になります。Curves that are close to the diagonal of the plot, result from classifiers that tend to make predictions that are close to random guessing.

クロス検証の使用Using Cross Validation

回帰の例と同じく、クロス検証を使用して、データの各サブセットのトレーニング、スコア付け、評価を自動的に反復実行できます。As in the regression example, we can perform cross validation to repeatedly train, score, and evaluate different subsets of the data automatically. また、[モデルのクロス検証] モジュールでは、トレーニングしていないロジスティック回帰モデルとデータセットを使用できます。Similarly, we can use the Cross-Validate Model module, an untrained logistic regression model, and a dataset. [モデルのクロス検証] モジュールのプロパティで、ラベル列を income に設定する必要があります。The label column must be set to income in the Cross-Validate Model module's properties. 実験を実行して、[モデルのクロス検証] モジュールの該当する出力ポートをクリックすれば、各分割処理の二項分類メトリック値とそれぞれの平均偏差と標準偏差を確認できます。After running the experiment and clicking on the right output port of the Cross-Validate Model module, we can see the binary classification metric values for each fold, in addition to the mean and standard deviation of each.

二項分類モデルのクロス検証

図 8:Figure 8. 二項分類モデルのクロス検証。Cross-Validating a Binary Classification Model.

二項分類モデルのクロス検証の結果

図 9:Figure 9. 二項分類モデルのクロス検証の結果。Cross-Validation Results of a Binary Classifier.

多クラス分類モデルの評価Evaluating a Multiclass Classification Model

この実験では、3 種類 (クラス) のあやめの事例が含まれている有名な Iris データセットを使います。In this experiment, we will use the popular Iris dataset, which contains instances of three different types (classes) of the iris plant. 事例ごとに 4 つの特徴値 (がくの長さ、がくの幅、花弁の長さ、花弁の幅) があります。There are four feature values (sepal length/width and petal length/width) for each instance. 前の実験では、同じデータセットを使ってモデルのトレーニングとテストを行いました。In the previous experiments, we trained and tested the models using the same datasets. 今回は、[データの分割] モジュールを使ってデータのサブセットを 2 つ作成し、1 つ目でトレーニングを行い、2 つ目でスコア付けと評価を行います。Here, we will use the Split Data module to create two subsets of the data, train on the first, and score and evaluate on the second. Iris データセットは UCI Machine Learning Repository で公開されており、[データのインポート] モジュールを使ってダウンロードできます。The Iris dataset is publicly available on the UCI Machine Learning Repository, and can be downloaded using an Import Data module.

実験の作成Creating the Experiment

Azure Machine Learning Studio (クラシック) で以下のモジュールをワークスペースに追加します。Add the following modules to your workspace in Azure Machine Learning Studio (classic):

図 10 のようにポートを接続します。Connect the ports as shown below in Figure 10.

[モデルのトレーニング] モジュールのラベル列のインデックスを 5 に設定します。Set the Label column index of the Train Model module to 5. このデータセットにはヘッダー行がありませんが、クラス ラベルが第 5 列にあります。The dataset has no header row but we know that the class labels are in the fifth column.

[データのインポート] モジュールをクリックし、"データ ソース" プロパティを "HTTP を使用する Web URL" に設定し、"URL" を http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data に設定します。Click on the Import Data module and set the Data source property to Web URL via HTTP, and the URL to http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data.

[データの分割] モジュールでトレーニングに使用する事例の割合を設定します (0.7 など)。Set the fraction of instances to be used for training in the Split Data module (0.7 for example).

多クラス分類モデルの評価

図 10:Figure 10. 多クラス分類モデルの評価Evaluating a Multiclass Classifier

評価結果の確認Inspecting the Evaluation Results

実験を実行し、モデルの評価の出力ポートをクリックします。Run the experiment and click on the output port of Evaluate Model. この場合は、評価結果が混同行列の形式で表示されます。The evaluation results are presented in the form of a confusion matrix, in this case. この行列で、3 つのクラスすべての実際の事例と予測の事例を確認できます。The matrix shows the actual vs. predicted instances for all three classes.

多クラス分類の評価結果

図 11:Figure 11. 多クラス分類の評価結果。Multiclass Classification Evaluation Results.

クロス検証の使用Using Cross Validation

前述のとおり、[モデルのクロス検証] モジュールを使用すれば、トレーニング/スコア付け/評価の反復処理を自動的に実行できます。As mentioned earlier, you can perform repeated training, scoring, and evaluations automatically using the Cross-Validate Model module. データセット、トレーニングしていないモデル、[モデルのクロス検証] モジュールが必要です (下の図を参照)。You would need a dataset, an untrained model, and a Cross-Validate Model module (see figure below). この場合も、[モデルのクロス検証] モジュールのラベル列を設定しなければなりません (この場合は列のインデックスを 5 にします)。Again you need to set the label column of the Cross-Validate Model module (column index 5 in this case). 実験を実行して、[モデルのクロス検証] の該当する出力ポートをクリックすれば、各分割処理のメトリック値に加え、平均偏差と標準偏差も確認できます。After running the experiment and clicking the right output port of the Cross-Validate Model, you can inspect the metric values for each fold as well as the mean and standard deviation. この場合に表示されるメトリックは、二項分類の例で取り上げたメトリックと同じです。The metrics displayed here are the similar to the ones discussed in the binary classification case. ただし、多クラス分類では、真陽性と陰性、偽陽性と陰性の計算がクラスごとに行われ、正または負のクラスの全体の値はありません。However, in multiclass classification, computing the true positives/negatives and false positives/negatives is done by counting on a per-class basis, as there is no overall positive or negative class. たとえば、'Iris-setosa' クラスの精度や再現率を計算する場合は、これが正のクラスで他はすべて負であると仮定されます。For example, when computing the precision or recall of the 'Iris-setosa' class, it is assumed that this is the positive class and all others as negative.

多クラス分類モデルのクロス検証

図 12.Figure 12. 多クラス分類モデルのクロス検証。Cross-Validating a Multiclass Classification Model.

多クラス分類モデルのクロス検証の結果

図 13.Figure 13. 多クラス分類モデルのクロス検証の結果。Cross-Validation Results of a Multiclass Classification Model.