빠른 모델 분석 수행

모델이 실험 버전에 대한 교육을 마치면 가장 중요한 모델 메트릭 분석을 수행하고 교육 데이터가 처리된 방식에 대한 요약에 액세스합니다. 빠른 분석은 데이터 및 모델 탭에서 수행됩니다.

교육 결과 개요를 보려면 모델 탭을 사용합니다. 실험 버전을 실행하면 자동으로 모델 탭으로 전환됩니다. 또한 데이터 탭을 다시 검토하여 데이터가 어떻게 사전 처리되고 처리되었는지 검사하는 것이 좋습니다.

모델을 추가로 평가하기 위해 추가 옵션을 사용할 수 있습니다. 모델 간 추가 메트릭과 하이퍼 매개 변수를 비교하거나, 세부적인 분석을 위해 특정 모델에 집중할 수 있습니다. 이러한 옵션은 비교 및 분석 탭에서 사용할 수 있습니다. 자세한 내용은 다음을 참조하십시오.

• 모델 비교

• 세부 모델 분석 수행

개념 이해

모델 평가를 시작하기 전에 모델 분석의 기본 개념을 이해하는 것이 도움이 될 수 있습니다. 자세한 내용은 모델 검토 개념 이해을 참조하십시오.

최적화 설정이 분석에 미치는 영향

지능형 모델 최적화 사용 여부에 따라 분석 환경이 약간 다를 수 있습니다. 새로운 실험에서는 지능형 모델 최적화가 기본적으로 켜져 있습니다.

지능형 최적화로 교육된 모델 분석

기본적으로 새로운 실험은 지능형 모델 최적화를 통해 실행됩니다.

지능형 모델 최적화는 추가 구체화 없이 배포할 준비가 된 모델을 이상적으로 만드는 보다 강력한 교육 프로세스를 제공합니다. 이러한 모델을 프로덕션 사용 사례에 배포하는 성능은 관련 기능과 데이터가 포함된 고품질 데이터 집합으로 교육하는 데 달려 있습니다.

버전이 지능형 모델 최적화로 교육된 경우 다음을 고려합니다.

• 버전의 각 모델은 알고리즘이 데이터를 분석한 방식에 따라 서로 다른 기능을 선택할 수 있습니다.

• 특정 분석을 시작하기 전에 모델 탭에서 해당 모델에 대한 모델 교육 요약을 읽어보십시오. 모델 교육 요약은 AutoML이 기능 선택을 반복하고 고급 변환을 적용하여 모델을 자동으로 최적화한 방법의 요약을 보여 줍니다.

지능형 모델 최적화에 대한 자세한 내용은 지능형 모델 최적화를 참조하십시오.

지능형 최적화 없이 교육된 모델 분석

또는 교육 버전에 대해 지능형 모델 최적화를 해제했을 수도 있습니다. 교육 프로세스에 대한 더 많은 제어가 필요한 경우 모델을 수동으로 최적화하는 것이 도움이 될 수 있습니다.

수동 최적화를 사용한 경우 해당 버전의 모든 모델에는 동일한 기능 선택이 포함되므로 모델 교육 요약이 필요하지 않습니다.

구성 검사

사전 처리 중에 기능이 교육에서 사용되지 않도록 제외되었을 수 있습니다. 이는 일반적으로 버전을 실행하기 전보다 교육이 진행됨에 따라 데이터에 대해 더 많은 정보가 알려지기 때문에 발생합니다.

모델 교육 요약(지능형 최적화로만 표시됨)을 검토한 후 다른 변경 내용을 확인해야 하는 경우 실험 구성을 자세히 살펴볼 수 있습니다.

다음과 같이 하십시오.

1. 실험에서 데이터 탭으로 전환합니다.

2. 스키마 보기에 있는지 확인합니다.

3. 버전에서 모델을 선택하려면 도구 모음의 드롭다운 메뉴를 사용합니다.

4. 모델 스키마를 분석합니다. 특정 기능이 삭제되었거나 다른 기능 유형으로 변환되었는지 확인하려면 통찰력 및 기능 유형 열을 집중적으로 살펴볼 수 있습니다.

   예를 들어, 초기에 가능한 무료 문자로 표시된 기능이 버전을 실행한 후에 제외되었을 수 있습니다.

   각 통찰력의 의미에 대한 자세한 내용은 데이터 집합 통찰력 해석을 참조하십시오.

기본 지능형 최적화 옵션을 사용하여 버전을 실행한 경우 버전의 각 모델은 자동 구체화로 인해 다른 기능 선택을 가질 수 있습니다. 버전이 지능형 최적화 없이 실행된 경우 기능 선택은 해당 버전의 모든 모델에 대해 동일합니다. 지능형 모델 최적화에 대한 자세한 내용은 지능형 모델 최적화를 참조하십시오.

이 구성에서 찾은 내용에 따라 기능 데이터를 개선하기 위해 데이터 집합 준비 단계로 돌아가야 할 수도 있습니다.

지능형 모델 최적화를 끄면 빠른 분석 환경의 일부로 모델 교육 요약이 표시되지 않습니다. 또한 실험 버전의 모든 모델은 동일한 기능 조합을 사용하는 반면 지능형 최적화로 교육된 모델은 서로 다른 기능 조합을 사용할 수 있습니다.

모델 선택

교육이 완료되면 분석을 위해 최고 성능 모델이 자동으로 선택되고 해당 모델에 대한 메트릭이 표시됩니다. 각 실험 버전의 최고 성능 모델은 아이콘으로 표시됩니다.

메트릭과 구성의 차이점을 비교하려면 모델을 전환합니다. 데이터 탭에 있는 경우 도구 모음의 드롭다운 메뉴를 사용하여 모델을 선택합니다. 모델 탭에 있는 경우 모델 통계 테이블에서 모델을 클릭하여 모델을 선택합니다.

교육 요약 분석

지능형 모델 최적화로 교육된 모델의 경우 모델 교육 요약에는 교육 중에 발생한 일에 대한 주요 정보가 요약되어 있습니다. 이 요약에는 다음이 포함됩니다.

• 모델의 샘플링 비율입니다.

• 지능형 최적화의 결과로 자동으로 삭제된 기능 목록입니다. 이 목록은 선택 모델에 따라 다릅니다.

• 교육 데이터 집합에 대한 링크.

모델을 수동으로 최적화하는 경우에는 모델 교육 요약이 표시되지 않습니다.

지능형 모델 최적화에 대한 자세한 내용은 지능형 모델 최적화를 참조하십시오.

모델 교육 요약에는 사전 처리 단계에서 삭제된 기능이 나열되지 않습니다. 이 정보를 확인하려면 실험의 데이터 탭으로 돌아가십시오. 참고: 구성 검사

다음과 같이 하십시오.

1. 실험에서 모델 탭으로 전환합니다.

2. 분석하려는 모델을 선택했는지 확인합니다.

3. 페이지 오른쪽의 모델 통찰력 섹션에서 모델 교육 요약을 살펴보십시오.

모델 메트릭 테이블 분석

모델 메트릭 테이블은 실험에서 각 모델의 성능에 대한 상위 수준 정보를 제공합니다. 이 테이블은 모델 탭에 표시됩니다.

모델 탭에 있으면 모델 메트릭 테이블에서 분석할 모델을 선택할 수도 있습니다.

모델 메트릭 테이블에는 다음이 표시됩니다.

• 모델이 해당 버전에 대해 최고의 성능을 발휘하는지 여부

• 각 모델의 이름(편의상 편집할 수 있습니다. 참고: 모델 세부 정보 편집).

• 모델 교육에 사용되는 알고리즘

• 실험 대상에 의해 정의된 모델 유형을 고려할 때 가장 중요한 모델 성능 점수 값은 다음과 같습니다.

  • 이진 분류 모델: F1.

    F1

  • 다중클래스 분류 모델: F1 매크로.

    매크로 F1

  • 회귀 모델: R2.

    R2

  실험에서 교육하는 모델 유형에 대한 자세한 내용은 만들어진 모델 유형 결정을 참조하십시오.

테이블에서 모델 필터링

모델 메트릭 테이블을 필터링하여 비교하려는 모델만 표시할 수 있습니다.

다음 필터를 사용할 수 있으며 필요에 따라 결합할 수 있습니다.

• 버전: 하나 이상의 실험 버전을 선택합니다.

• 알고리즘: 하나 이상의 알고리즘을 선택합니다.

• 최고 성과 모델: 모든 버전에서 최고 성과 모델을 표시합니다( 아이콘으로 표시). 추가 모델 필터에서 찾을 수 있습니다.

• 100% 샘플링: 이 필터는 기본적으로 적용됩니다. 원하는 경우 제거할 수 있습니다. 필터는 전체 교육 데이터 집합을 사용하여 교육 및 교차 유효성 검사 프로세스를 완료한 모델을 표시합니다. 추가 모델 필터에서 찾을 수 있습니다.

• 배포됨: ML 배포에 배포된 모델을 표시합니다. 추가 모델 필터에서 찾을 수 있습니다.

기능 중요성 시각화 해석

모델 탭에서 아래로 스크롤하여 기능 중요성 시각화를 확인합니다. 이는 permutation importance 및 SHAP importance입니다.

permutation importance 차트

permutation importance 차트는 모델의 전체 예측에 대한 각 기능의 중요성을 보여 줍니다. permutation importance 차트에 표시되는 내용은 모델을 구체화하는 방법을 이해하는 데 도움이 될 수 있습니다.

이 차트를 분석하여 얻을 수 있는 일반적인 통찰력은 다음과 같습니다.

• 하나의 기능이 거의 모든 중요성을 차지한다면 이는 대상 유출의 징후일 가능성이 높습니다. 해당 기능을 제거해야 합니다. 이것이 데이터 품질 문제로 인해 발생한 경우 해당 문제도 해결해야 합니다.

  데이터 유출

• 일부 기능은 모델 예측에 거의 또는 전혀 영향을 미치지 않을 수 있습니다. permutation importance가 매우 낮은 기능은 통계적 노이즈로 간주될 수 있으므로 제거해야 합니다.

 버전을 교육하는 데 지능형 모델 최적화가 사용된 경우 위에서 언급한 일반적인 문제 중 일부는 이러한 기능을 삭제하여 자동으로 해결되었을 수 있습니다.

permutation importance에 대한 자세한 내용은 permutation importance 이해를 참조하십시오.

SHAP importance 차트

SHAP importance 차트는 실험의 각 기능이 각 모델의 예측에 미치는 영향을 분석하는 또 다른 방법을 제공합니다. 이를 통해 어떤 기능이 중요한지 또는 교육을 재구성해야 하는지에 대한 조기 통찰력을 얻을 수 있습니다. 자세한 내용은 실험 교육에서 SHAP importance 이해을 참조하십시오.

모델 채점 시각화 해석

실험이 이진 분류 문제인 경우 빠른 소비를 위해 여러 추가 시각화가 자동 생성됩니다. 이러한 시각화를 통해 모델이 양성 클래스와 음성 클래스를 얼마나 잘 예측하는지에 대한 더 많은 통찰력을 얻을 수 있습니다.

이러한 시각화에 대한 자세한 내용은 이진 분류 모델 채점을 참조하십시오.

혼동 행렬

confusion matrix 차트는 모델이 만든 예측의 정확성을 보여 줍니다. 예측은 자동 홀드아웃 데이터에 대해 수행됩니다.

혼동 행렬

ROC 곡선

ROC 곡선 차트는 실제 결과가 긍정적일 때 모델이 긍정적 클래스를 얼마나 잘 예측하는지 설명합니다.

이상적인 ROC 곡선의 모양을 보려면 AUC 및 ROC 곡선을 참조하십시오.