회귀 모델 평가
회귀 모델을 평가하기 위해 학습 중에 다시 사용할 유효성 검사 데이터 세트의 실제 레이블과 예측 레이블을 비교할 수 있지만, 이는 정확하지 않은 프로세스이며 여러 모델의 성능을 비교하는 데 사용할 수 있는 간단한 메트릭을 제공하지 않습니다.
모델 평가 모듈 추가
- 아직 열려 있지 않다면 이전 단원에서 만든 자동차 가격 학습 파이프라인을 엽니다.
- 왼쪽 창의 모델 채점 및 평가 섹션에서 모델 평가 모듈을 모델 채점 모듈 아래에 있는 캔버스로 끌어다 놓고, 모델 채점 모듈의 출력을 모델 평가 모듈의 점수가 매겨진 데이터 세트(왼쪽) 입력에 연결합니다.
- 파이프라인이 다음과 같아야 합니다.
- 제출 을 선택하고 mslearn-auto-training 이라는 기존 실험을 사용하여 파이프라인을 실행합니다.
- 실험이 완료될 때까지 기다립니다.
- 실험이 완료되면 모델 평가 모듈을 선택하고 설정 창에서 출력 + 로그 탭의 데이터 출력 아래에 있는 평가 결과 섹션에서 시각화 아이콘을 사용하여 결과를 확인합니다. 여기에는 다음과 같은 회귀 성능 메트릭이 포함됩니다.
- MAE(평균 절대 오차): 예측 값과 실제 값 사이의 평균 차이입니다. 해당 값은 레이블과 동일한 단위(이 경우 달러)를 기준으로 합니다. 해당 값이 낮을수록 모델의 예측 정확도가 높아집니다.
- RMSE(평균 제곱 오차): 예측 값과 실제 값 사이의 평균 제곱 차이의 제곱근입니다. 결과는 레이블과 동일한 단위(달러)를 기준으로 하는 메트릭입니다. MAE(위)보다 차이가 크면 개별 오차의 분산이 크다는 것을 나타냅니다(예: 일부 오차는 매우 작고 다른 오차는 큰 경우).
- RSE(상대 제곱 오차): 예측 값과 실제 값 간의 차이에 대한 제곱을 기준으로 한, 0에서 1 사이의 상대 메트릭입니다. 해당 메트릭이 0에 가까울수록 모델의 성능이 더 뛰어납니다. 해당 메트릭은 상대적이므로 레이블이 다른 단위인 모델을 비교하는 데 사용할 수 있습니다.
- RAE(상대 절대 오차): 예측 값과 실제 값 간의 절대 차이에 대한 제곱을 기준으로 한, 0에서 1 사이의 상대 메트릭입니다. 해당 메트릭이 0에 가까울수록 모델의 성능이 더 뛰어납니다. RSE와 마찬가지로 해당 메트릭은 레이블의 단위가 서로 다른 모델을 비교하는 데 사용할 수 있습니다.
- 결정 계수(R 2): 해당 메트릭은 일반적으로 ‘결정 계수’라고 하며 모델이 설명하는 예측 값과 실제 값 간의 분산이 어느 정도인지 개략적으로 알려 줍니다. 해당 값이 1에 가까울수록 모델의 성능이 더 뛰어납니다.
- 모델 평가 결과 시각화 창을 닫습니다.
다른 회귀 알고리즘을 사용해 데이터 분할 모듈의 동일한 출력을 두 번째 모델 학습 모듈(다른 알고리즘 사용) 및 두 번째 모델 채점 모듈에 연결하여 결과를 비교할 수 있습니다. 그런 다음 두 모델 채점 모듈의 출력을 동일한 모델 평가 모듈에 연결하여 나란히 비교할 수 있습니다.
요구 사항에 맞는 평가 메트릭을 사용하는 모델을 발견했다면, 해당 모델을 새 데이터와 함께 사용할 준비를 할 수 있습니다.