모델 검토 및 구체화
모델 교육의 첫 번째 버전이 완료되면 결과 모델 메트릭을 분석하고 필요한 결과를 얻을 때까지 새 버전의 실험을 구성합니다.
실험 버전을 실행하면 결과 모델 메트릭 분석을 시작할 수 있는 모델 탭으로 이동됩니다. 데이터 탭으로 돌아가서 스키마 보기 및 데이터 보기에 액세스할 수 있습니다. 비교 및 분석 탭에서 보다 세부적인 분석을 수행할 수 있습니다.
모델 메트릭 테이블에 모든 메트릭이 채워지고 최상위 모델 옆에 트로피 
아이콘이 나타나면 첫 번째 버전의 교육이 완료된 것입니다.
v1의 모델 분석
모델 탭으로 다시 전환합니다. 모델 메트릭 테이블에서 최상위 모델은 트로피 아이콘으로 점수가 매겨집니다. 이는 F1 점수 기준으로 가장 성능이 좋은 모델이라는 뜻입니다.
최고 성능의 v1 모델을 보여 주는 모델 메트릭 테이블
모델 탭으로 다시 전환합니다. 모델 메트릭 테이블에서 최상위 모델은 트로피 아이콘으로 점수가 매겨집니다. 이는 F1 점수 기준으로 가장 성능이 좋은 모델이라는 뜻입니다.
F1 열 헤더를 클릭하여 가장 높은 성능에서 가장 낮은 성능 순으로 모델을 정렬합니다. 성능이 낮은 알고리즘을 제외하거나 다음 교육 반복에서 더 빠른 결과를 가져오기 위해 가장 좋은 알고리즘에만 집중하도록 선택할 수 있습니다. 이후 섹션에서 v3을 구성할 때 이 문제를 다루겠습니다.
데이터 유출 식별
페이지 오른쪽에 있는 모델 통찰력 차트를 살펴보십시오. 이 차트는 각 기능의 상대적 중요성과 모델 성능을 보여 줍니다.
permutation importance 차트와 실험 구성 창의 기능 목록에서 이 모델의 첫 번째 반복이 DaysSinceLastService 기능과 비교할 때 다른 모든 기능은 거의 중요하지 않습니다.
데이터 유출을 보여 주는 모델 탭의 permutation importance 차트
이러한 차이와 모델의 극도로 높은 F1 성능 점수는 뭔가 잘못되었다는 신호로 보아야 합니다. 이 경우 구독을 취소한 고객에 대한 고객의 마지막 서비스 티켓 이후 일 수 계산을 중지하기 위해 데이터 수집 중에 정의된 논리가 없었습니다. 결과적으로 모델은 마지막 서비스 티켓(몇 년 전에 취소한 고객을 위한 선물) 이후 많은 일 수를 Churned 필드의 yes 값과 연결하는 방법을 학습했습니다.
이는 데이터 유출의 예입니다. 실제 시나리오에서 모델은 예측이 이루어질 때까지만 정보에 액세스할 수 있고 이 필드에 포함된 일 수는 해당 측정 시점을 지나서 수집되었습니다. 이 문제는 데이터 유출의 한 형태인 대상 유출로 알려져 있습니다. 데이터 유출에 대한 자세한 내용은 데이터 유출을 참조하십시오.
결과 모델을 왜곡하기 때문에 실험 구성에서 "유출" 기능인 DaysSinceLastService을 제거해야 합니다. 실제 사용 사례에서는 모델 만들기 전에 데이터 품질과 논리를 철저히 조사하여 결과 모델이 제대로 교육되었는지 확인해야 합니다.
v2를 구성할 때 이 문제를 해결할 것입니다.
버전 2 구성 및 실행
데이터 유출 문제를 해결하기 위해 새 버전을 구성해 보겠습니다.
다음과 같이 하십시오.
실험 구성 패널을 확장하려면 구성 보기를 클릭합니다.
새 버전을 클릭합니다.
패널의 기능에서 DaysSinceLastService 확인란을 선택 해제합니다.
v2 실행을 클릭합니다.
v2용 DaysSinceLastService 제거
v2의 모델 분석
두 번째 버전의 실험 실행이 완료되면 모델 메트릭 테이블에서 최고 성능의 v2 모델 옆에 있는 확인란을 클릭합니다(트로피 아이콘으로 표시됨). 이렇게 하면 해당 모델에 대한 메트릭으로 페이지가 새로 고쳐집니다.
교육 및 홀드아웃 메트릭 비교
추가 메트릭을 보고 교차 유효성 검사 교육의 메트릭을 홀드아웃 메트릭과 비교할 수 있습니다.
다음과 같이 하십시오.
실험에서 비교 탭으로 전환합니다.
포함된 분석이 열립니다. 대화형 인터페이스를 사용하여 비교 모델 분석에 대해 더 자세히 알아보고 새로운 통찰력을 얻을 수 있습니다.
분석 오른쪽에 있는 시트 패널에서 Details 시트로 전환합니다.
Model Metrics 테이블을 살펴보십시오. F1과 같은 모델 점수 메트릭과 기타 정보가 표시됩니다.
버전 1의 교육은 대상 유출의 영향을 가져오았으므로 v2에만 집중하겠습니다. 시트 오른쪽에 있는 Version 필터 창을 사용하여 1 값을 선택합니다.
Columns to show 섹션에서 필터 창을 사용하여 표의 열을 추가하고 제거합니다.
드롭다운 목록 상자에서 추가 메트릭을 추가합니다. 각 메트릭의 교육 점수는 Train으로 끝나는 값으로 표시됩니다. 테이블에 일부 교육 메트릭을 추가합니다.
이제 교차 유효성 검사 교육에서 F1 메트릭의 유효성을 검사하고 이를 홀드아웃 메트릭과 비교할 수 있습니다.
홀드아웃 점수와 비교하기 위해 교육 점수 추가 및 보기
중요성이 낮은 기능 식별
다음으로 permutation importance가 낮은 기능이 있는지 확인해야 합니다. 예측 정확도를 높이려면 모델에 거의 또는 전혀 영향을 미치지 않는 기능을 제거해야 합니다.
다음과 같이 하십시오.
실험에서 다시 모델 탭으로 전환합니다.
permutation importance 차트를 확인합니다. 하위 4개 기능(StartMonth, DeviceType, CustomerTenure 및 Territory)은 다른 기능보다 모델에 훨씬 적은 영향을 미칩니다. 이 사용 사례에서는 거의 가치가 없으며 통계적 노이즈로 볼 수 있습니다.
v3에서는 이러한 기능을 제거하여 모델 점수가 향상되는지 확인할 수 있습니다.
최고 성능의 v2 모델이 선택된 모델 탭입니다. permutation importance 차트는 모델에 거의 또는 전혀 영향을 미치지 않는 기능이 있음을 보여 줍니다.
성능이 낮은 알고리즘 식별
또한 모델 메트릭 테이블을 보고 v3 교육에서 알고리즘을 제거할 수 있는지 확인할 수도 있습니다. 후속 반복에서 교육이 더 빠르게 실행되도록 모델을 구체화할 때 성능이 낮은 알고리즘을 제거할 수 있습니다.
실험에서 다시 모델 탭으로 전환합니다.
모델 메트릭 테이블에서 버전 필터를 사용하여 v2의 모델만 표시합니다.
각 알고리즘에 대한 F1 점수를 살펴보십시오. 특정 알고리즘이 다른 알고리즘보다 점수가 현저히 낮은 모델을 만드는 경우 다음 버전에서 해당 알고리즘을 제거할 수 있습니다.
버전 3 구성 및 실행
다음과 같이 하십시오.
실험 구성 패널을 확장하려면 구성 보기를 클릭합니다.
새 버전을 클릭합니다.
패널의 기능에서 StartMonth, DeviceType, CustomerTenure 및 Territory 확인란을 선택 해제합니다.
원하는 경우 알고리즘을 확장하고 가우시안 나이브 베이즈 및 로지스틱 회귀 확인란을 선택 해제합니다.
v3 실행을 클릭합니다.
v3의 모델 분석
v3이 실행된 후 모델 메트릭 테이블에서 버전 필터를 지울 수 있습니다. v3에서 최고 성능의 모델을 선택합니다.
모든 버전의 모델을 간단히 비교해 보겠습니다.
교육의 첫 번째 버전은 가장 높은 점수를 받았지만 이러한 메트릭은 데이터 유출 문제로 인해 매우 과장되고 비현실적인 성능 예측 변수였습니다. v3에서는 최고 성능 모델의 F1 점수가 최고 성능 v2 모델보다 증가했습니다.
세 가지 버전 모두에서 모델에 대한 정렬된 F1 점수를 보여 주는 모델 메트릭 테이블입니다. 중요성이 낮은 기능을 제거한 후 v3에서 F1 점수가 향상되었습니다.
앞서 살펴보았듯이 비교 탭으로 전환하여 모델 점수를 더 자세히 비교할 수 있습니다.
특정 모델에 집중
모델 분석 중 언제든지 개별 모델에 대한 세부적인 분석을 수행할 수 있습니다. 대화형 Qlik Sense 환경을 통해 예측 정확도, 기능 중요성, 기능 분포를 살펴보십시오.
다음과 같이 하십시오.
최고 성능의 v3 모델을 선택한 상태에서 분석 탭을 클릭합니다.
포함된 분석이 열립니다.
Model Overview 시트를 사용하면 모델의 예측 정확도를 분석할 수 있습니다. 선택 기능을 통해 분석 기능이 향상됩니다. 기능이나 예측 값을 클릭하여 선택합니다. 포함된 분석의 데이터는 데이터 필터링을 위해 조정됩니다. 특정 기능 값과 범위를 드릴다운하여 기능이 어떻게 영향을 미치고 예측 정확도가 변경되는지 확인할 수 있습니다.
다른 시트로 전환하면 예측 정확도, 기능 분포 및 영향 분포(SHAP)에 대한 시각화를 볼 수 있습니다. 이 분석 콘텐츠는 다음을 수행하는 데 도움이 될 수 있습니다.
데이터 추세에 영향을 미치는 키 드라이버를 찾아보십시오.
특정 기능과 집단이 예측 값과 예측 정확도에 어떤 영향을 미치는지 식별합니다.
데이터의 이상값을 식별합니다.
ML 실험의 분석 탭
다음 단계
실제 시나리오에서는 모델을 배포하기 전에 이러한 구체화 단계를 필요한 만큼 반복하여 특정 사용 사례에 가장 적합한 모델을 갖도록 하는 것이 중요합니다.
이 자습서에서 모델 배포에 대한 다음 섹션으로 이동합니다.