회귀 모델 평가

회귀 모델을 평가하기 위해 학습 중에 다시 사용할 유효성 검사 데이터 세트의 실제 레이블과 예측 레이블을 비교할 수 있지만, 이는 정확하지 않은 프로세스이며 여러 모델의 성능을 비교하는 데 사용할 수 있는 간단한 메트릭을 제공하지 않습니다.

모델 평가 모듈 추가

  1. 아직 열려 있지 않다면 이전 단원에서 만든 자동차 가격 학습 파이프라인을 엽니다.
  2. 왼쪽 창의 모델 채점 및 평가 섹션에서 모델 평가 모듈을 모델 채점 모듈 아래에 있는 캔버스로 끌어다 놓고, 모델 채점 모듈의 출력을 모델 평가 모듈의 점수가 매겨진 데이터 세트(왼쪽) 입력에 연결합니다.
  3. 파이프라인이 다음과 같아야 합니다.

모델 채점 모듈에 추가된 모델 평가 모듈

  1. 제출 을 선택하고 mslearn-auto-training 이라는 기존 실험을 사용하여 파이프라인을 실행합니다.
  2. 실험이 완료될 때까지 기다립니다.
  3. 실험이 완료되면 모델 평가 모듈을 선택하고 설정 창에서 출력 + 로그 탭의 데이터 출력 아래에 있는 평가 결과 섹션에서 시각화 아이콘을 사용하여 결과를 확인합니다. 여기에는 다음과 같은 회귀 성능 메트릭이 포함됩니다.
    • MAE(평균 절대 오차): 예측 값과 실제 값 사이의 평균 차이입니다. 해당 값은 레이블과 동일한 단위(이 경우 달러)를 기준으로 합니다. 해당 값이 낮을수록 모델의 예측 정확도가 높아집니다.
    • RMSE(평균 제곱 오차): 예측 값과 실제 값 사이의 평균 제곱 차이의 제곱근입니다. 결과는 레이블과 동일한 단위(달러)를 기준으로 하는 메트릭입니다. MAE(위)보다 차이가 크면 개별 오차의 분산이 크다는 것을 나타냅니다(예: 일부 오차는 매우 작고 다른 오차는 큰 경우).
    • RSE(상대 제곱 오차): 예측 값과 실제 값 간의 차이에 대한 제곱을 기준으로 한, 0에서 1 사이의 상대 메트릭입니다. 해당 메트릭이 0에 가까울수록 모델의 성능이 더 뛰어납니다. 해당 메트릭은 상대적이므로 레이블이 다른 단위인 모델을 비교하는 데 사용할 수 있습니다.
    • RAE(상대 절대 오차): 예측 값과 실제 값 간의 절대 차이에 대한 제곱을 기준으로 한, 0에서 1 사이의 상대 메트릭입니다. 해당 메트릭이 0에 가까울수록 모델의 성능이 더 뛰어납니다. RSE와 마찬가지로 해당 메트릭은 레이블의 단위가 서로 다른 모델을 비교하는 데 사용할 수 있습니다.
    • 결정 계수(R 2): 해당 메트릭은 일반적으로 ‘결정 계수’라고 하며 모델이 설명하는 예측 값과 실제 값 간의 분산이 어느 정도인지 개략적으로 알려 줍니다. 해당 값이 1에 가까울수록 모델의 성능이 더 뛰어납니다.
  4. 모델 평가 결과 시각화 창을 닫습니다.

다른 회귀 알고리즘을 사용해 데이터 분할 모듈의 동일한 출력을 두 번째 모델 학습 모듈(다른 알고리즘 사용) 및 두 번째 모델 채점 모듈에 연결하여 결과를 비교할 수 있습니다. 그런 다음 두 모델 채점 모듈의 출력을 동일한 모델 평가 모듈에 연결하여 나란히 비교할 수 있습니다.

요구 사항에 맞는 평가 메트릭을 사용하는 모델을 발견했다면, 해당 모델을 새 데이터와 함께 사용할 준비를 할 수 있습니다.