스튜디오 UI에서 책임 있는 AI 인사이트 생성

이 문서에서는 Azure Machine Learning 스튜디오 UI에서 코드가 없는 환경에서 책임 있는 AI 대시보드 및 성과 기록표(미리 보기)를 만듭니다.

Important

이 기능은 현재 공개 미리 보기로 제공됩니다. 이 미리 보기 버전은 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다.

자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.

대시보드 생성 마법사에 액세스하고 책임 있는 AI 대시보드를 생성하려면 다음을 수행합니다.

1. 코드 없는 환경에 액세스할 수 있도록 Azure Machine Learning에 모델을 등록합니다.

2. Azure Machine Learning 스튜디오의 왼쪽 창에서 모델 탭을 선택합니다.

3. 책임 있는 AI 인사이트를 만들려는 등록된 모델을 선택한 다음 세부 정보 탭을 선택합니다.

4. 책임 있는 AI 대시보드 만들기(미리 보기)를 선택합니다.

   

책임 있는 AI 대시보드에서 지원되는 모델 형식 및 제한 사항에 대해 자세히 알아보려면 지원되는 시나리오 및 제한 사항을 참조하세요.

마법사는 코드를 수정할 필요 없이 책임 있는 AI 대시보드를 만드는 데 필요한 모든 매개 변수를 입력할 수 있는 인터페이스를 제공합니다. 환경은 전적으로 Azure Machine Learning 스튜디오 UI에서 발생합니다. 스튜디오는 대시보드를 채우려는 책임 있는 AI 구성 요소에 대한 다양한 선택을 컨텍스트화할 수 있도록 하는 단계별 흐름과 지침 텍스트를 제공합니다.

마법사는 5개의 섹션으로 나뉩니다.

1. 학습 데이터 세트
2. 테스트 데이터 세트
3. 모델링 작업
4. 대시보드 구성 요소
5. 구성 요소 매개 변수
6. 실험 구성

데이터 세트 선택

처음 두 섹션에서는 모델 디버깅 인사이트를 생성하도록 모델을 학습할 때 사용한 학습 및 테스트 데이터 세트를 선택합니다. 모델이 필요하지 않은 일반 분석과 같은 구성 요소의 경우 학습 데이터 세트를 사용하여 일반 모델을 학습하여 인과 인사이트를 생성합니다.

참고 항목

ML 테이블의 표 형식 데이터 세트 형식만 지원됩니다.

1. 학습용 데이터 세트 선택: Azure Machine Learning 작업 영역에 등록된 데이터 세트의 목록에서 모델 설명 및 오류 분석과 같은 구성 요소에 대한 책임 있는 AI 인사이트를 생성하는 데 사용할 데이터 세트를 선택합니다.

   

2. 테스트할 데이터 세트 선택: 등록된 데이터 세트 목록에서 책임 있는 AI 대시보드 시각화를 채우는 데 사용할 데이터 세트를 선택합니다.

   

3. 사용하려는 학습 또는 테스트 데이터 세트가 목록에 없으면 만들기를 선택하여 업로드합니다.

모델링 작업 선택

데이터 세트를 선택한 후 다음 이미지와 같이 모델링 작업 종류를 선택합니다.

대시보드 구성 요소 선택

책임 있는 AI 대시보드는 생성할 수 있는 권장 도구 집합에 대한 두 가지 프로필을 제공합니다.

• 모델 디버깅: 오류 분석, 반대 사실 가상 예 및 모델 설명 가능성을 사용하여 기계 학습 모델의 잘못된 데이터 코호트를 이해하고 디버그합니다.

• 실제 개입: 일반 분석을 사용하여 기계 학습 모델의 잘못된 데이터 코호트를 이해하고 디버그합니다.

  참고 항목

  다중 클래스 분류는 실제 개입 분석 프로필을 지원하지 않습니다.

1. 사용하려는 프로필을 선택합니다.
2. 다음을 선택합니다.

대시보드 구성 요소에 대한 매개 변수 구성

프로필을 선택하면 해당 구성 요소에 대한 모델 디버깅을 위한 구성 요소 매개 변수 구성 창이 나타납니다.

모델 디버깅을 위한 구성 요소 매개 변수:

1. 대상 기능(필수): 모델이 예측하도록 학습된 기능을 지정합니다.

2. 범주 기능: 대시보드 UI에서 범주 값으로 올바르게 렌더링할 수 있도록 범주화된 기능을 나타냅니다. 이 필드는 데이터 세트 메타데이터를 기반으로 미리 로드됩니다.

3. 오류 트리 및 열 지도 생성: 책임 있는 AI 대시보드에 대한 오류 분석 구성 요소를 생성하려면 켜고 끕니다.

4. 오류 열 지도의 기능: 오류 열 지도를 미리 생성할 기능을 최대 2개까지 선택합니다.

5. 고급 구성: 추가 매개 변수(예: 오류 트리의 최대 깊이, 오류 트리의 리프 수, 각 리프 노드의 최소 샘플 수)를 지정합니다.

6. 반대 사실 가상 예 생성: 책임 있는 AI 대시보드에 대해 반대 사실 가상 구성 요소를 생성하려면 켜고 끄기를 전환합니다.

7. 반대 사실 수(필수): 데이터 포인트당 생성할 반대 사실 예 수를 지정합니다. 원하는 예측을 달성하기 위해 평균적으로 가장 교란된 기능의 막대형 차트 보기를 사용하도록 설정하려면 최소 10개를 생성해야 합니다.

8. 값 예측 범위(필수): 회귀 시나리오의 경우 반대 사실 예에 예측 값을 포함할 범위를 지정합니다. 이진 분류 시나리오의 경우 범위가 자동으로 설정되어 각 데이터 포인트의 반대 클래스에 대한 반대 사실을 생성합니다. 다중 분류 시나리오의 경우 드롭다운 목록을 사용하여 각 데이터 포인트를 예측할 클래스를 지정합니다.

9. 교란할 기능 지정: 기본적으로 모든 기능이 교란됩니다. 그러나 특정 기능만 교란되도록 하려면 반대 사실 설명을 생성하기 위해 교란할 기능 지정을 선택하여 선택할 기능 목록이 있는 창을 표시합니다.

   교란할 기능 지정을 선택하면 교란을 허용할 범위를 지정할 수 있습니다. 예를 들어: YOE(수년간의 경험) 기능의 경우, 반대 사실의 값이 기본값 5~21이 아닌 10~21 범위의 기능 값만 갖도록 지정합니다.

   

10. 설명 생성: 책임 있는 AI 대시보드에 대한 모델 설명 구성 요소를 생성하려면 켜고 끕니다. 기본 불투명 상자 모방 설명자가 기능 중요도를 생성하는 데 사용되므로 구성이 필요하지 않습니다.

또는 실생활 개입 프로필을 선택하면 일반 분석을 생성하는 다음 화면이 표시됩니다. 이렇게 하면 최적화하려는 특정 결과에 대해 "처리"하려는 기능의 인과 영향을 이해하는 데 도움이 됩니다.

실제 개입을 위한 구성 요소 매개 변수는 일반 분석을 사용합니다. 다음을 수행하십시오:

1. 대상 기능(필수): 일반 효과를 계산할 결과를 선택합니다.
2. 처리 기능(필수): 대상 결과를 최적화하기 위해 변경("처리 중")에 관심이 있는 기능을 하나 이상 선택합니다.
3. 범주 기능: 대시보드 UI에서 범주 값으로 올바르게 렌더링할 수 있도록 범주화된 기능을 나타냅니다. 이 필드는 데이터 세트 메타데이터를 기반으로 미리 로드됩니다.
4. 고급 설정: 이질적인 기능(즉, 처리 기능 외에 분석에서 일반 세분화를 이해하기 위한 추가 기능) 및 사용하려는 일반 모델과 같은 일반 분석을 위한 추가 매개 변수를 지정합니다.

실험 구성

마지막으로 책임 있는 AI 대시보드를 생성하기 위한 작업을 시작하도록 실험을 구성합니다.

학습 작업 또는 실험 구성 창에서 다음을 수행합니다.

1. 이름: 특정 모델의 대시보드 목록을 볼 때 구별할 수 있도록 대시보드에 고유한 이름을 지정합니다.
2. 실험 이름: 작업을 실행할 기존 실험을 선택하거나 새 실험을 만듭니다.
3. 기존 실험: 드롭다운 목록에서 기존 실험을 선택합니다.
4. 컴퓨팅 형식 선택: 작업을 실행하는 데 사용할 컴퓨팅 형식을 지정합니다.
5. 컴퓨팅 선택: 드롭다운 목록에서 사용할 컴퓨팅을 선택합니다. 기존 컴퓨팅 리소스가 없는 경우 더하기 기호(+)를 선택하고 새 컴퓨팅 리소스를 만든 다음 목록을 새로 고칩니다.
6. 설명: 책임 있는 AI 대시보드에 대한 자세한 설명을 추가합니다.
7. 태그: 이 책임 있는 AI 대시보드에 태그를 추가합니다.

실험 구성을 마친 후 만들기를 선택하여 책임 있는 AI 대시보드 만들기를 시작합니다. 작업이 완료되면 작업 페이지에서 생성된 책임 있는 AI 대시보드에 대한 링크와 함께 작업 진행 상황을 추적할 수 있는 실험 페이지로 리디렉션됩니다.

책임 있는 AI 대시보드를 보고 사용하는 방법을 알아보려면 Azure Machine Learning 스튜디오에서 책임 있는 AI 대시보드 사용을 참조하세요.

책임 있는 AI 성과 기록표를 생성하는 방법(미리 보기)

대시보드를 만든 후에는 Azure Machine Learning 스튜디오에서 코드 없는 UI를 사용하여 책임 있는 AI 성과 기록표를 사용자 지정하고 만들 수 있습니다. 이를 통해 공정성 및 기능 중요도와 같은 모델의 책임 있는 배포에 대한 주요 인사이트를 비기술적 및 기술적 관련자와 공유할 수 있습니다. 대시보드 만들기와 유사하게 다음 단계에서 성과 기록표 만들기 마법사에 액세스할 수 있습니다.

• Azure Machine Learning 스튜디오의 왼쪽 탐색 모음에서 모델 탭으로 이동합니다.
• 성과 기록표를 만들 등록된 모델을 선택하고 책임 있는 AI 탭을 선택합니다.
• 상단 패널에서 책임 있는 AI 인사이트 만들기(미리 보기)를 선택한 다음 새 PDF 성과 기록표 생성을 선택합니다.

마법사를 사용하면 코드를 건드리지 않고도 PDF 성과 기록표를 사용자 지정할 수 있습니다. 환경은 전적으로 Azure Machine Learning 스튜디오에서 이루어지며, 성과 기록표를 채우려는 구성 요소를 선택할 수 있도록 하는 단계별 흐름 및 지침 텍스트를 사용하여 다양한 UI 선택을 컨텍스트화하는 데 도움이 됩니다. 마법사는 범주 기능이 있는 모델에 대해서만 표시되는 8단계(공정성 평가)와 함께 7단계로 나뉩니다.

1. PDF 성과 기록표 요약
2. 모델 성능
3. 도구 선택
4. 데이터 분석(이전에는 데이터 탐색기라고 함)
5. 일반 분석
6. 해석력
7. 실험 구성
8. 공정성 평가(범주 기능이 있는 경우에만)

성과 기록표 구성

1. 먼저 성과 기록표를 설명하는 제목을 입력합니다. 또한 모델의 기능, 학습 및 평가된 데이터, 아키텍처 형식 등에 대한 선택적 설명을 입력할 수도 있습니다.

   

2. 모델 성능 섹션에서는 성과 기록표 업계 표준 모델 평가 메트릭에 통합할 수 있으며 선택한 메트릭에 대해 원하는 대상 값을 설정할 수 있습니다. 드롭다운을 사용하여 원하는 성능 메트릭(최대 3개)과 대상 값을 선택합니다.

   

3. 도구 선택 단계에서는 성과 기록표에 포함할 후속 구성 요소를 선택할 수 있습니다. 모든 구성 요소를 포함하려면 성과 기록표에 포함을 선택하거나 각 구성 요소를 개별적으로 선택/선택 취소합니다. 구성 요소에 대해 자세히 알아보려면 구성 요소 옆에 있는 정보 아이콘(원 안의 "i")을 선택합니다.

   

4. 데이터 분석 섹션(이전에는 데이터 탐색기라고 함)에서는 코호트 분석을 할 수 있습니다. 여기에서 데이터가 데이터 세트에 클러스터링되는 방식과 모델 예측이 특정 데이터 코호트에 미치는 영향을 탐색하는 과다 및 과소 표현의 문제를 식별할 수 있습니다. 드롭다운의 확인란을 사용하여 아래에서 관심 있는 기능을 선택하여 기본 코호트에서 모델 성능을 식별합니다.

   

5. 공정성 평가 섹션은 기계 학습 모델의 예측에 의해 부정적인 영향을 받을 수 있는 사람들의 그룹을 평가하는 데 도움이 될 수 있습니다. 이 섹션에는 두 개의 필드가 있습니다.

   • 중요한 기능: 탐색하고 비교하려는 최대 20개의 하위 그룹에 우선 순위를 지정하여 선택한 중요한 특성(예: 나이, 성별)을 식별합니다.

   • 공정성 메트릭: 설정에 적합한 공정성 메트릭(예: 정확도 차이, 오류율 비율)을 선택하고 선택한 공정성 메트릭에서 원하는 대상 값을 식별합니다. 선택한 공정성 메트릭(토글을 통해 선택한 차이 또는 비율과 쌍을 이룸)은 하위 그룹 전체에서 극단적인 값 간의 차이 또는 비율을 캡처합니다. (최대 - 최소 또는 최대/최소).

   

   참고 항목

   공정성 평가는 현재 성별과 같은 범주적으로 중요한 특성에만 사용할 수 있습니다.

6. 일반 분석 섹션은 처리의 변화가 실제 결과에 어떤 영향을 미치는지에 대한 실제 "가상" 질문에 답합니다. 성과 기록표를 생성하는 책임 있는 AI 대시보드에서 원인 구성 요소가 활성화된 경우 더 이상 구성이 필요하지 않습니다.

   

7. 해석력 섹션은 기계 학습 모델로 만든 예측에 대해 인간이 이해할 수 있는 설명을 생성합니다. 모델 설명을 사용하면 모델이 내린 결정의 근거를 이해할 수 있습니다. 아래에서 숫자(K)를 선택하여 전체 모델 예측에 영향을 미치는 상위 K개의 중요한 기능을 확인합니다. K의 기본값은 10입니다.

   

8. 마지막으로 성과 기록표를 생성하는 작업을 시작하도록 실험을 구성합니다. 이러한 구성은 책임 있는 AI 대시보드의 구성과 동일합니다.

   

9. 마지막으로 구성을 검토하고 만들기를 선택하여 작업을 시작합니다.

   

   작업을 시작하면 작업 진행 상황을 추적할 수 있는 실험 페이지로 리디렉션됩니다. 책임 있는 AI 성과 기록표를 보고 사용하는 방법을 알아보려면 책임 있는 AI 성과 기록표 사용(미리 보기)을 참조하세요.

다음 단계

• 책임 있는 AI 대시보드를 생성한 후 Azure Machine Learning 스튜디오에서 액세스하고 사용하는 방법을 확인합니다.
• 책임 있는 AI 대시보드의 개념 및 기술에 대해 자세히 알아봅니다.
• 책임감 있게 데이터를 수집하는 방법에 대해 자세히 알아봅니다.
• 이 기술 커뮤니티 블로그 게시물에서 책임 있는 AI 대시보드와 성과 기록표를 사용하여 데이터와 모델을 디버그하고 더 나은 의사 결정을 내리는 방법에 대해 자세히 알아봅니다.
• 실제 고객 사례에서 영국 NHS(National Health Service)에서 책임 있는 AI 대시보드와 성과 기록표를 어떻게 사용했는지 알아봅니다.
• 이 대화형 AI 랩 웹 데모를 통해 책임 있는 AI 대시보드의 기능을 살펴봅니다.