모델 검토 및 개선

모델 학습의 첫 번째 버전이 완료되면 결과 모델 메트릭 및 권장 모델을 분석합니다. 모델을 개선하기 위해 추가 수정이 필요한 경우 수동 모델 최적화를 사용하여 추가 버전을 실행할 수 있습니다.

실험 버전을 실행하면 모델 탭으로 이동하여 결과 모델 메트릭 분석을 시작할 수 있습니다. 데이터 탭으로 돌아가서 스키마 보기 및 데이터 보기에 액세스할 수 있습니다. 비교 및 분석 탭에서 더 세부적인 분석을 수행할 수 있습니다.

모델 메트릭 테이블 분석

모델 탭으로 다시 전환합니다. 모델 메트릭 섹션에서 일반적인 품질 요구 사항을 기반으로 권장 모델이 강조 표시됩니다. 분석을 위해 가장 우수한 모델 이 자동으로 선택되었습니다.

실험에서 학습된 모델에서 세 가지 권장 사항이 제공됩니다. 단일 모델이 둘 이상의 권장 사항에 표시될 수 있습니다. 권장 사항은 다음과 같습니다.

• 가장 우수한 모델: 성능이 가장 우수한 정확도 메트릭과 예측 속도의 균형을 가장 잘 맞춘 모델입니다.

• 가장 정확함: 균형 정확도 및 원시 정확도 메트릭에서 가장 높은 점수를 받은 모델입니다.

• 가장 빠른 모델: 강력한 정확도 관련 메트릭 외에도 예측 속도가 가장 빠른 모델입니다.

사용 사례에 가장 적합한 모델을 선택하는 것이 중요합니다. 대부분의 경우 가장 우수한 모델이 가장 유리한 옵션입니다. 그러나 예측 사용 사례에 따라 예측 속도 또는 정확도 메트릭에 대한 특정 사양이 필요할 수 있습니다.

상위 모델 유형이 결정되는 방식에 대한 자세한 개요는 사용자에게 가장 적합한 모델 선택를 참조하십시오.

권장 사항 위의 드롭다운 필터를 사용하여 초점을 좁힐 수 있습니다. 필터링을 변경할 때마다 상위 모델 유형이 자동으로 다시 계산됩니다.

테이블 위의 메트릭 표시 선택기를 사용하여 핵심 메트릭 간에 전환합니다. 이름 및 분석 중인 선택된 메트릭을 기준으로 모델을 정렬할 수 있습니다.

과적합된 모델은 테이블에 경고 로 표시됩니다. 이러한 모델은 배포에 적합하지 않습니다. 과적합의 원인으로는 학습 알고리즘에 의해 도입된 모델 복잡성 및 학습 데이터 세트 관련 문제 등이 있습니다. 자세한 내용은 과적합을 참조하십시오.

모델 학습 요약 분석

이제 인터페이스 오른쪽에 있는 모델 학습 요약에 집중할 수 있습니다. 이 요약을 통해 모델 및 입력 학습 데이터가 최상의 성능을 위해 어떻게 최적화되었는지 탐색할 수 있습니다. 모델 학습 요약은 지능형 모델 최적화에서 제공하는 개선 사항의 개요입니다.

아래 이미지의 요약에서 다음을 확인할 수 있습니다.

• 학습 데이터의 기능이 학습 중에 제외되었으며 모델에 통합되지 않았습니다.

• 모델의 샘플링 비율은 100%입니다.

대상 누출로 인해 기능이 제외됨

대상 누출로 인해 학습 중에 DaysSinceLastService 기능이 제외되었습니다.

이 기능 열에서는 구독을 취소한 고객에 대해 고객의 마지막 서비스 티켓 이후 일수 계산을 중지하도록 데이터 수집 중에 정의된 로직이 없었습니다. 결과적으로 모델은 마지막 서비스 티켓 이후의 많은 일수(수년 전에 취소한 고객의 경우 존재함)를 Churned 필드의 yes 값과 연관시키는 법을 학습했을 수 있습니다.

이 기능은 새로운 데이터에서 성능이 매우 저하된 모델을 생성할 수 있으므로 학습에서 제거해야 했습니다.

근본적인 문제는 데이터 누출의 한 형태인 대상 누출로 알려져 있습니다. 데이터 누출에 대한 자세한 내용은 데이터 유출를 참조하십시오.

높은 상관 관계로 인해 기능이 제외됨

학습 중에 PriorPeriodUsage-Rounded 및 AdditionalFeatureSpend가 제외된 것을 볼 수 있습니다.

이 경우 데이터 세트의 다른 열에서 직접 파생된 기능 열이 하나 이상(PriorPeriodUsage-Rounded) 있었습니다. AdditionalFeatureSpend에서 다른 상관 관계 문제가 감지되었습니다.

품질이 우수한 모델을 학습하려면 상관 관계 문제를 일으키는 기능을 제거하는 것이 중요합니다.

상관 관계에 대한 자세한 내용은 상관 관계을 참조하십시오.

낮은 중요도로 인해 기능이 제외됨

순열 중요도가 낮아 여러 기능도 제외되었습니다. 예비 분석 후 이러한 기능은 대상의 결과에 미치는 영향이 매우 낮은 것으로 확인되었습니다. 이러한 기능은 통계적 노이즈로 간주될 수 있으며 모델 품질을 향상시키기 위해 제거되었습니다.

순열 중요도에 대한 자세한 내용은 permutation importance 이해를 참조하십시오.

모델 탭의 다른 시각화 분석

추가적인 상위 수준 분석을 위해 모델 탭에서 다른 시각화를 사용할 수 있습니다. 모델 메트릭 테이블에서 다른 모델을 선택하여 기능 수준 성능 및 모델 품질에 대한 통찰력을 제공할 수 있는 기타 차트를 탐색합니다.

다음 단계

지능형 모델 최적화를 사용하여 실험 버전을 실행한 후 필요에 따라 수동 버전을 실행하여 모델을 개선할 수 있습니다. 새 수동 버전을 빠르게 만들려면 모델 탭으로 다시 전환하고 모델 학습 요약에서 새 수동 버전을 클릭하면 됩니다.

실제 시나리오에서는 특정 사용 사례에 가장 적합한 모델을 확보할 수 있도록 모델을 배포하기 전에 필요한 만큼 개선 단계를 반복하는 것이 중요합니다.

모델 개선에 대한 자세한 내용은 모델 정제를 참조하십시오.

이 자습서에서는 모델 배포에 대한 다음 섹션으로 이동합니다.