Machine Learning - 평가
중요
Machine Learning Studio(클래식)에 대한 지원은 2024년 8월 31일에 종료됩니다. 해당 날짜까지 Azure Machine Learning으로 전환하는 것이 좋습니다.
2021년 12월 1일부터 새로운 Machine Learning Studio(클래식) 리소스를 만들 수 없습니다. 2024년 8월 31일까지는 기존 Machine Learning Studio(클래식) 리소스를 계속 사용할 수 있습니다.
- ML Studio(클래식)에서 Azure Machine Learning으로 기계 학습 프로젝트 이동에 대한 정보를 참조하세요.
- Azure Machine Learning에 대한 자세한 정보.
ML Studio(클래식) 설명서는 사용 중지되며 나중에 업데이트되지 않을 수 있습니다.
이 문서에서는 기계 학습 모델을 평가하는 데 사용할 수 있는 Machine Learning Studio(클래식)의 모듈에 대해 설명합니다. 모델 평가 는 학습이 완료된 후 예측의 정확도를 측정하고 모델 적합성을 평가하기 위해 수행됩니다.
또한 이 문서에서는 모델 생성, 학습, 평가 및 채점을 위한 Machine Learning Studio(클래식)의 전체 프로세스에 대해서도 설명합니다.
Machine Learning Studio(클래식)에서 기계 학습 모델 만들기 및 사용
기계 학습에 대한 일반적인 워크플로에는 다음 단계가 포함됩니다.
- 적합한 알고리즘을 선택하고 초기 옵션을 설정합니다.
- 호환되는 데이터를 사용하여 모델을 학습합니다.
- 모델의 패턴을 기반으로 하는 새 데이터를 사용하여 예측을 만듭니다.
- 모델을 평가하여 예측이 정확한지, 오류의 양, 과잉 맞춤이 발생하는지 여부를 확인합니다.
Machine Learning Studio(클래식)는 기계 학습을 위한 유연하고 사용자 지정 가능한 프레임워크를 지원합니다. 이 프로세스의 각 작업은 특정 유형의 모듈에 의해 수행됩니다. 모듈은 나머지 실험을 중단하지 않고 수정, 추가 또는 제거할 수 있습니다.
이 범주의 모듈을 사용하여 기존 모델을 평가합니다. 모델 평가에는 일반적으로 일종의 결과 데이터 세트가 필요합니다. 평가 데이터 세트가 없는 경우 점수 매기기로 결과를 생성할 수 있습니다. 테스트 데이터 세트 또는 "근거" 또는 알려진 예상 결과를 포함하는 다른 데이터 집합을 사용할 수도 있습니다.
모델 평가에 대한 자세한 정보
일반적으로 모델을 평가할 때 옵션은 평가하는 모델의 유형과 사용하려는 메트릭에 따라 달라집니다. 이러한 항목에는 가장 자주 사용되는 몇 가지 메트릭이 나와 있습니다.
또한 Machine Learning Studio(클래식)는 사용 중인 모델의 유형과 모델에서 예측하는 클래스 수에 따라 다양한 시각화를 제공합니다. 이러한 시각화를 찾는 데 도움이 되는 내용은 평가 메트릭 보기를 참조하세요.
이러한 통계를 해석하려면 모델이 학습된 특정 알고리즘을 더 잘 이해해야 하는 경우가 많습니다. 모델을 평가하는 방법 및 각 측정값에 대해 반환되는 값을 해석하는 방법에 대한 좋은 설명은 Machine Learning 모델 성능을 평가하는 방법을 참조하세요.
모듈 목록
Machine Learning - 평가 범주에는 다음 모듈이 포함됩니다.
모델 교차 유효성 검사: 데이터를 분할하여 분류 또는 회귀 모델에 대한 매개 변수 예측의 교차 유효성을 검사합니다.
학습 집합 및 모델의 유효성을 테스트하려면 모델 간 유효성 검사 모듈을 사용합니다. 교차 유효성 검사는 데이터를 접기로 분할한 다음 접기 조합에 대해 여러 모델을 테스트합니다.
모델 평가: 표준 메트릭을 사용하여 채점된 분류 또는 회귀 모델을 평가합니다.
대부분의 경우 제네릭 모델 평가 모듈을 사용합니다. 모델이 지원되는 분류 또는 회귀 알고리즘 중 하나를 기반으로 하는 경우 특히 그렇습니다.
추천 평가: 추천 모델 예측의 정확도를 평가합니다.
권장 사항 모델의 경우 추천 평가 모듈을 사용합니다.
관련 작업
- 클러스터링 모델의 경우 클러스터에 데이터 할당 모듈을 사용합니다. 그런 다음, 해당 모듈의 시각화를 사용하여 평가 결과를 확인합니다.
- 사용자 지정 평가 메트릭을 만들 수 있습니다. 사용자 지정 평가 메트릭을 만들려면 R 스크립트 실행 모듈의 R 코드 또는 Python 스크립트 실행 모듈의 Python 코드를 제공합니다. 이 옵션은 오픈 소스 라이브러리의 일부로 게시된 메트릭을 사용하거나 모델 정확도를 측정하기 위해 고유한 메트릭을 디자인하려는 경우에 편리합니다.
예
기계 학습 모델 평가의 결과를 해석하는 것은 예술입니다. 데이터 및 비즈니스 문제 외에도 수학 결과를 이해해야 합니다. 다양한 시나리오에서 결과를 해석하는 방법에 대한 설명은 다음 문서를 검토하는 것이 좋습니다.
기술 정보
이 섹션에는 구현 정보, 팁, 질문과 대답이 포함되어 있습니다.
평가 메트릭 보기
Machine Learning Studio(클래식)에서 각 모델 유형에 대한 메트릭 차트를 찾는 위치를 알아봅니다.
2클래스 분류 모델
이진 분류 모델의 기본 보기에는 대화형 ROC 차트와 주 메트릭에 대한 값 테이블이 포함됩니다.
이진 분류 모델을 보기 위한 두 가지 옵션이 있습니다.
- 모듈 출력을 마우스 오른쪽 단추로 클릭한 다음 시각화를 선택합니다.
- 모듈을 마우스 오른쪽 단추로 클릭하고 평가 결과를 선택한 다음 시각화를 선택합니다.
슬라이더를 사용하여 확률 임계값 을 변경할 수도 있습니다. 임계값은 결과를 true로 수락해야 하는지 여부를 결정합니다. 그런 다음 이러한 값이 어떻게 변경되는지 확인할 수 있습니다.
다중 클래스 분류 모델
다중 클래스 분류 모델에 대한 기본 메트릭 뷰에는 모든 클래스에 대한 혼동 행렬과 전체 모델에 대한 메트릭 집합이 포함됩니다.
다중 클래스 분류 모델을 보기 위한 두 가지 옵션이 있습니다.
- 모듈 출력을 마우스 오른쪽 단추로 클릭한 다음 시각화를 선택합니다.
- 모듈을 마우스 오른쪽 단추로 클릭하고 평가 결과를 선택한 다음 시각화를 선택합니다.
간단히 하기 위해 다음과 같은 두 결과가 나란히 표시됩니다.
회귀 모델
회귀 모델에 대한 메트릭 뷰는 만든 모델의 유형에 따라 달라집니다. 메트릭 뷰는 기본 알고리즘 인터페이스를 기반으로 하며 모델 메트릭에 가장 적합합니다.
회귀 모델을 보는 두 가지 옵션이 있습니다.
- 테이블에서 정확도 메트릭을 보려면 모델 평가 모듈의 출력을 마우스 오른쪽 단추로 클릭한 다음 시각화를 선택합니다.
- 값이 포함된 오류 히스토그램을 보려면 모듈을 마우스 오른쪽 단추로 클릭하고 평가 결과를 선택한 다음 시각화를 선택합니다.
오류 히스토그램 보기는 오류가 배포되는 방식을 이해하는 데 도움이 될 수 있습니다. 다음 모델 형식에 대해 제공되며 루트 평균 제곱 오차(RMSE)와 같은 기본 메트릭 테이블을 포함합니다.
다음 회귀 모델은 일부 사용자 지정 메트릭과 함께 기본 메트릭 테이블을 생성합니다.
데이터 작업에 대한 팁
Machine Learning Studio(클래식) UI에서 복사하여 붙여넣지 않고 숫자를 추출하려면 새 PowerShell 라이브러리를 사용하여 Machine Learning 수 있습니다. 전체 실험 또는 개별 모듈에서 메타데이터 및 기타 정보를 가져올 수 있습니다.
모델 평가 모듈에서 값을 추출하려면 더 쉽게 식별할 수 있도록 모듈에 고유한 주석을 추가해야 합니다. 그런 다음 Download-AmlExperimentNodeOutput cmdlet을 사용하여 JSON 형식의 시각화에서 메트릭 및 해당 값을 가져옵니다.
자세한 내용은 PowerShell을 사용하여 기계 학습 모델 만들기를 참조하세요.