신속한 모델 분석 수행
실험 버전의 모델 학습이 완료되면 가장 중요한 모델 메트릭을 분석하고 학습 데이터가 어떻게 처리되었는지에 대한 요약에 액세스합니다. 신속한 분석은 구성/학습 데이터 및 모델 탭에서 수행됩니다.
학습 결과의 개요를 보려면 모델 탭을 사용하십시오. 실험 버전을 실행하면 자동으로 모델 탭으로 전환됩니다. 데이터가 어떻게 전처리되고 처리되었는지 검사하기 위해 학습 데이터 탭을 다시 방문하는 것도 권장됩니다.
이진 분류 실험을 위한 모델 탭
모델을 추가로 평가하기 위해 추가 옵션을 사용할 수 있습니다. 모델 간에 추가 메트릭 및 하이퍼파라미터를 비교하거나 세부적인 분석을 위해 특정 모델에 집중할 수 있습니다. 이러한 옵션은 비교 및 분석 탭에서 사용할 수 있습니다. 자세한 내용은 다음을 참조하십시오.
개념 이해
모델 평가를 시작하기 전에 모델 분석의 기반이 되는 개념을 기본적으로 이해하는 것이 도움이 될 수 있습니다. 자세한 내용은 모델 검토 개념 이해을 참조하십시오.
최적화 설정이 분석에 미치는 영향
분류 및 회귀 실험의 경우, 지능형 모델 최적화를 사용했는지 여부에 따라 분석 환경이 약간 다를 수 있습니다. 새로운 분류 및 회귀 실험에서는 지능형 모델 최적화가 기본적으로 활성화됩니다.
지능형 최적화로 교육된 모델 분석
기본적으로 새로운 분류 및 회귀 실험은 지능형 모델 최적화를 통해 실행됩니다.
지능형 모델 최적화는 추가 구체화 없이 배포할 준비가 된 모델을 이상적으로 만드는 보다 강력한 교육 프로세스를 제공합니다. 이러한 모델을 프로덕션 사용 사례에 배포하는 성능은 관련 기능과 데이터가 포함된 고품질 데이터 집합으로 교육하는 데 달려 있습니다.
버전이 지능형 모델 최적화로 교육된 경우 다음을 고려합니다.
-
버전의 각 모델은 알고리즘이 데이터를 분석한 방식에 따라 서로 다른 기능을 선택할 수 있습니다.
-
특정 분석을 시작하기 전에 모델 탭에서 해당 모델에 대한 모델 교육 요약을 읽어보십시오. 모델 교육 요약은 Qlik 프로젝트이 기능 선택을 반복하고 고급 변환을 적용하여 모델을 자동으로 최적화하는 방법에 대한 요약을 보여 줍니다.
지능형 모델 최적화에 대한 자세한 내용은 지능형 모델 최적화를 참조하십시오.
지능형 최적화 없이 교육된 모델 분석
또는 교육 버전에 대해 지능형 모델 최적화를 해제했을 수도 있습니다. 교육 프로세스에 대한 더 많은 제어가 필요한 경우 모델을 수동으로 최적화하는 것이 도움이 될 수 있습니다.
수동 최적화를 사용한 경우 해당 버전의 모든 모델에는 동일한 기능 선택이 포함되므로 모델 교육 요약이 필요하지 않습니다.
구성 검사
전처리 과정에서 기능이 학습에 사용되지 않도록 제외되었을 수 있습니다. 이는 일반적으로 버전을 실행하기 전보다 학습이 진행됨에 따라 데이터에 대해 더 많은 정보가 알려지기 때문에 발생합니다.
모델 학습 요약(지능형 최적화가 적용된 경우에만 표시됨)을 검토한 후, 이러한 다른 변경 사항을 확인해야 하는 경우 실험 구성을 자세히 살펴볼 수 있습니다.
다음과 같이 하십시오.
-
실험에서 학습 데이터 탭으로 전환합니다.
-
지정된 화면이
스키마 보기 상태인지 확인합니다. -
도구 모음의 드롭다운 메뉴를 사용하여 버전에서 모델을 선택합니다.
-
모델 스키마를 분석합니다. 특정 기능이 누락되었거나 다른 기능 유형으로 변환되었는지 확인하려면 인사이트 및 기능 유형 열에 집중하는 것이 좋습니다.
예를 들어, 처음에 자유 텍스트 가능성 있음으로 표시된 기능이 버전을 실행한 후 제외되었을 수 있습니다.
각 인사이트의 의미에 대한 자세한 내용은 데이터 세트 인사이트 해석을 참조하십시오.
기본 지능형 최적화 옵션으로 버전을 실행한 경우, 자동 미세 조정으로 인해 버전의 각 모델마다 기능 선택이 다를 수 있습니다. 지능형 최적화 없이 버전을 실행한 경우, 버전의 모든 모델에 대해 기능 선택이 동일합니다. 지능형 모델 최적화에 대한 자세한 내용은 지능형 모델 최적화을 참조하십시오.
이 구성에서 찾은 내용을 바탕으로 기능 데이터를 개선하기 위해 데이터 세트 준비 단계로 돌아가야 할 수도 있습니다.
지능형 모델 최적화가 꺼져 있으면 신속한 분석 환경의 일부로 모델 학습 요약이 표시되지 않습니다. 또한 실험 버전의 모든 모델은 동일한 기능 조합을 사용하는 반면, 지능형 최적화로 학습된 모델은 서로 다른 기능 조합을 가질 수 있습니다.
모델 선택
학습이 완료되면 권장 모델이 분석을 위해 자동으로 선택되고 해당 모델의 메트릭이 표시됩니다.
모델 간에 전환하여 메트릭 및 구성의 차이를 비교합니다. 학습 데이터 탭에 있는 경우 도구 모음의 드롭다운 메뉴를 사용하여 모델을 선택합니다. 모델 탭에 있는 경우 모델 메트릭 테이블에서 모델을 클릭하여 모델을 선택합니다.
학습 요약 분석
지능형 모델 최적화
지능형 모델 최적화로 학습된 모델의 경우 모델 학습 요약에 학습 중에 발생한 상황에 대한 주요 정보가 요약되어 있습니다. 이 요약에는 다음이 포함됩니다.
-
모델의 샘플링 비율.
-
지능형 최적화의 결과로 자동으로 삭제된 기능 목록입니다. 이 목록은 선택한 모델에 따라 다릅니다.
-
모델을 학습할 때 적용된 고급 변환의 요약.
-
학습 데이터 세트에 대한 링크.
모델을 수동으로 최적화하는 경우 모델 학습 요약이 표시되지 않습니다.
지능형 모델 최적화에 대한 자세한 내용은 지능형 모델 최적화을 참조하십시오.
모델 탭에 표시되는 모델의 모델 학습 요약 차트
모델 학습 요약에는 전처리 단계에서 삭제된 기능이 나열되지 않습니다. 이 정보를 확인하려면 실험의 데이터 탭으로 돌아가십시오. 다음을 참조하십시오. 구성 검사
다음과 같이 하십시오.
-
실험에서 모델 탭으로 전환합니다.
-
분석할 모델을 선택했는지 확인합니다.
-
페이지 오른쪽에 있는 모델 인사이트 섹션에서 모델 학습 요약을 확인합니다.
시계열 실험
시계열 실험에서 모델 학습 요약은 데이터 세트 및 학습 설정에 정의된 대로 시계열 예측 문제에 대한 구성 설정을 보여줍니다. 이러한 세부 정보 중 일부는 학습이 시작되기 전에 추정되었지만, 이제 전체 데이터 세트가 분석된 후 확실하게 확인되었습니다. 다음을 볼 수 있습니다.
-
모델 학습에 사용된 데이터의 날짜 범위
-
시간 단계
-
적용 창 크기
-
최대 예측
-
예측 창 및 간격 크기
시계열 실험 모델의 모델 학습 요약 차트
모델 메트릭 테이블 분석
모델 메트릭 테이블은 실험의 각 모델 성능에 대한 상위 수준 정보를 제공합니다. 이 목록의 권장 모델은 테이블 위에 표시됩니다.
권장 모델 및 필터가 포함된 모델 메트릭 테이블
테이블에는 다음이 표시됩니다.
-
모델이 상위 모델 유형과 관련하여 상위 모델인지 여부. 다음을 참조하십시오. 상위 모델 찾기
-
각 모델의 이름(편의를 위해 편집할 수 있습니다. 다음을 참조하십시오. 모델 세부 정보 편집)
-
모델을 학습하는 데 사용된 알고리즘
-
모델 성능과 관련된 주요 메트릭. 다음 간에 전환할 수 있습니다.
-
모델 유형에 따른 예측 잠재력 평가를 위한 공통 메트릭. 이진 분류 모델의 경우 F1입니다. 다중 클래스 분류 모델의 경우 F1 Macro입니다. 회귀 모델의 경우 R2입니다.
-
예측 속도.
-
정확도. 분류 모델의 경우 정확도라는 메트릭입니다. 회귀 모델의 경우 MAE(평균 절대 오차)입니다.
-
상위 모델 찾기
가장 우수하고 성능이 뛰어난 모델은 적용한 필터를 기반으로 결정됩니다. 모델 메트릭 테이블 위에 권장 사항으로 표시되며 테이블 내에서도 강조 표시됩니다.
기본적으로 최고 모델이 선택됩니다. 이 모델은 
아이콘으로 표시됩니다. 최고 모델은 정확도와 예측 속도를 모두 고려한 균형 잡힌 계산을 기반으로 결정됩니다.
사용 사례에 따라 특정 성능 마커를 개별적으로 분석하는 데 관심이 있을 수도 있습니다. 다른 성능이 뛰어난 모델은 다음 마커로 강조 표시됩니다.
-
가장 정확함: 모델은 문제 유형에 적용 가능한 점수 메트릭을 기반으로 가장 높은 정확도를 표시합니다. -
가장 빠른 모델: 모델은 가장 빠른 예측 속도를 제공합니다. 정확도도 고려됩니다.
모델 메트릭 테이블 위의 권장 사항에서 직접 성능이 뛰어난 모델을 선택할 수도 있습니다.
각 유형의 권장 모델이 어떻게 결정되는지에 대한 전체 개요는 사용자에게 가장 적합한 모델 선택를 참조하십시오.
테이블에서 모델 필터링
모델 메트릭 테이블을 필터링하여 비교하려는 모델만 표시할 수 있습니다.
다음 필터를 사용할 수 있으며 필요에 따라 조합할 수 있습니다.
-
버전: 하나 이상의 실험 버전을 선택합니다.
-
알고리즘: 하나 이상의 알고리즘을 선택합니다.
-
100% 샘플링: 이 필터는 기본적으로 적용됩니다. 원할 경우 제거할 수 있습니다. 이 필터는 전체 학습 데이터 세트를 사용하여 학습 및 교차 검증 프로세스를 완료한 모델을 보여줍니다. 추가 모델 필터 아래에 있습니다.
-
배포됨: ML 배포에 배포된 모델을 보여줍니다. 추가 모델 필터 아래에 있습니다.
원하는 필터를 적용하면 필터링된 항목을 기반으로 성능이 뛰어난 모델이 자동으로 다시 계산됩니다. 그런 다음 권장 모델이 업데이트됩니다.
기능 중요도 시각화 해석
모델 탭에서 아래로 스크롤하여 기능 중요도 시각화를 확인합니다. 이는 순열 중요도 및 SHAP 중요도입니다.
기능 중요도 시각화인 모델 탭
순열 중요도 차트
순열 중요도 차트는 모델의 전반적인 예측에 대한 각 기능의 중요도를 보여줍니다. 순열 중요도 차트에 표시되는 내용은 모델을 미세 조정하는 방법을 이해하는 데 도움이 될 수 있습니다.
이 차트를 분석하여 얻을 수 있는 일반적인 인사이트는 다음과 같습니다.
-
하나의 기능이 중요도의 거의 대부분을 차지하는 경우 이는 대상 누출의 징후일 가능성이 높습니다. 해당 기능을 제거해야 합니다. 데이터 품질 문제로 인해 발생한 경우 해당 문제도 해결해야 합니다.
-
일부 기능은 모델 예측에 거의 또는 전혀 영향을 미치지 않을 수 있습니다. 순열 중요도가 극도로 낮은 기능은 통계적 노이즈로 간주될 수 있으므로 제거해야 합니다.
버전을 학습하는 데 지능형 모델 최적화가 사용된 경우 위에 언급된 일반적인 문제 중 일부는 이러한 기능을 삭제하여 자동으로 해결되었을 수 있습니다.
순열 중요도에 대한 자세한 내용은 permutation importance 이해를 참조하십시오.
SHAP 중요도 차트
SHAP 중요도 차트는 실험의 각 기능이 각 모델의 예측에 미치는 영향을 분석하는 또 다른 방법을 제공합니다. 이를 통해 어떤 기능이 중요한지 또는 학습을 재구성해야 하는지에 대한 조기 인사이트를 얻을 수 있습니다. 자세한 내용은 실험 교육에서 SHAP importance 이해을 참조하십시오.
모델 점수 시각화 해석
일부 모델 유형의 경우 모델이 얼마나 잘 수행되는지에 대한 개요를 보여주는 추가 시각화를 사용할 수 있습니다.
이진 분류
실험이 이진 분류 문제인 경우 신속한 소비를 위해 여러 추가 시각화가 자동으로 생성됩니다. 이러한 시각화를 통해 모델이 긍정 클래스와 부정 클래스를 얼마나 잘 예측하고 있는지에 대한 더 많은 인사이트를 얻을 수 있습니다.
이러한 시각화에 대한 자세한 내용은 이진 분류 모델 채점을 참조하십시오.
혼동 행렬
혼동 행렬 차트는 모델에 의해 생성된 예측의 정확도를 보여줍니다. 예측은 자동 홀드아웃 데이터에서 수행됩니다.
ROC 곡선
ROC 곡선 차트는 실제 결과가 긍정일 때 모델이 긍정 클래스를 얼마나 잘 예측하는지 설명합니다.
이상적인 ROC 곡선의 모습에 대한 지표는 AUC 및 ROC 곡선를 참조하십시오.
시계열
시계열 모델의 경우 예측 정확도에 대한 인사이트를 제공하기 위해 예측 창의 예측 오류 차트가 자동으로 생성됩니다. 예측 창의 각 시간 단계에 대한 예측 오류율을 볼 수 있습니다. 오류율은 50, 10, 90 백분위수로 세분화됩니다.
편향 감지 결과 분석
버전의 기능 중 편향 감지가 활성화된 기능이 있는 경우 어떤 기능에 데이터 및 모델 편향이 있는 것으로 식별되었는지 신속하게 인사이트를 얻을 수 있습니다.
공간이 제한되어 있어 이 축소된 보기에는 모든 메트릭과 그룹이 표시되지 않습니다. 예를 들어 편향 감지 메트릭이 이러한 통계를 기반으로 계산되는 경우 최소값과 최대값만 표시될 수 있습니다. 분석 탭으로 전환하여 선택한 각 기능의 편향 결과에 대한 포괄적인 세부 정보를 볼 수 있습니다.
자세한 내용은 편향 결과 빠른 분석를 참조하십시오.