사용자에게 가장 적합한 모델 선택

가장 좋은 모델

선택한 필터를 기반으로 분석을 위한 가장 적합한 모델이 자동으로 선택됩니다. 가장 적합한 모델은 아이콘으로 강조 표시됩니다.

Qlik 프로젝트에서는 정확도 측정 기준과 예측 속도를 고려한 균형 있는 계산을 통해 가장 적합한 모델이 결정됩니다.

가장 적합한 모델을 결정하기 위해 다음 프로세스가 자동으로 수행됩니다.

1. 모델 유형에 따라 결정되는 예측 성능 메트릭에 대해 가장 높은 점수를 받은 모델을 선택합니다. 사용된 메트릭은 다음과 같습니다.

   • 이진 분류: F1

   • 다중 클래스 분류: F1 매크로

   • 회귀: R2

   • 시계열: MASE(MASE를 사용할 수 없는 경우 MAE)

2. 1단계의 성능 채점을 사용하여 가장 높은 채점을 받은 모델의 채점에서 5% 이내에 있는 모든 모델을 선택합니다.

3. 선택한 모든 모델 중에서 가장 빠른 예측 속도를 가진 모델을 선택합니다(예측 속도 참조). 이 모델이 가장 적합한 모델입니다.

가장 정확함

모델이 일관되게 높은 정확도로 예측을 생성할 수 있어야 합니다. F1, F1 Macro, R2는 모델 정밀도를 종합적으로 반영하는 균형 있는 채점을 제공하지만, 모델의 원시 정밀도 및 정밀도 메트릭에도 관심이 있을 수 있습니다.

가장 정확한 모델은 아이콘으로 강조 표시됩니다. 가장 정확한 모델을 결정하기 위해 다음 프로세스가 자동으로 수행됩니다.

1. 모델 유형에 따라 결정되는 예측 성능 메트릭에 대해 가장 높은 점수를 받은 모델을 선택합니다. 사용된 메트릭은 다음과 같습니다.

   • 이진 분류: F1

   • 다중 클래스 분류: F1 매크로

   • 회귀: R2

   • 시계열: MASE(MASE를 사용할 수 없는 경우 가장 낮은 MAE 모델 선택)

2. 1단계의 성능 채점을 사용하여 가장 높은 채점을 받은 모델의 채점에서 10% 이내에 있는 모든 모델을 선택합니다.

3. 모델 유형에 따라 다음 두 경로 중 하나가 사용됩니다.

   1. 이진 분류:

      • 교육 데이터 집합이 균형을 유지하는 경우, 정확도 점수가 가장 높은 모델을 선택합니다. 이것이 가장 정확한 모델입니다. 사용된 특정 메트릭에 대한 정보는 정확도를 참조하십시오.

      • 교육 데이터 집합이 균형을 유지하지 못하는 경우, 가장 높은 정밀도 점수를 가진 모델을 선택합니다. 사용된 특정 메트릭에 대한 정보는 정밀도를 참조하십시오.

   2. 다중 클래스 분류 또는 회귀:

      • 정확도 점수가 가장 높은 모델을 선택합니다. 다음 정확도 메트릭이 사용됩니다.

        • 다중 클래스 분류: 정확도

        • 회귀: MAE

   3. 시계열: 가장 좋은(가장 낮은) MAE 점수를 가진 모델을 선택합니다.

가장 빠른 모델

모델을 선택할 때, 모델이 얼마나 빨리 예측을 제공할 수 있는지에 가치를 두는 것이 좋습니다. 가장 빠른 모델은 아이콘으로 강조 표시됩니다.

예측 속도는 어떤 모델이 가장 빠른지를 결정합니다. 하지만 모델의 예측 정확도는 여전히 고려 대상입니다. 모델은 빠르게 예측을 생성할 수 있어야 하지만, 동시에 적절한 정확도로 예측할 수 있어야 하기 때문입니다.

가장 빠른 모델을 결정하기 위해 다음 프로세스가 자동으로 수행됩니다.

1. 모델 유형에 따라 결정되는 예측 성능 메트릭에 대해 가장 높은 점수를 받은 모델을 선택합니다. 사용된 메트릭은 다음과 같습니다.

   • 이진 분류: F1

   • 다중 클래스 분류: F1 매크로

   • 회귀: R2

   • 시계열: MASE(MASE를 사용할 수 없는 경우 가장 낮은 MAE 모델 선택)

2. 모델 유형에 따라 다음 경로 중 하나가 사용됩니다.

   1. 이진 분류:

      • 교육 데이터 집합이 균형을 유지하는 경우 1단계에서 선택한 모델의 정확도 점수의 10% 이내인 정확도 점수를 갖는 모든 모델을 선택합니다. 사용된 특정 메트릭에 대한 자세한 내용은 정확도를 참조하십시오.

      • 교육 데이터 집합이 균형을 유지하지 못하는 경우, 1단계에서 가장 높은 채점을 받은 모델의 채점에서 10% 이내에 있는 모든 모델을 선택합니다. 1단계의 메트릭이 사용됩니다.

   2. 다중 클래스 분류 또는 회귀:

      • 1단계의 모델 정확도 점수에서 10% 이내의 정확도 점수를 갖는 모든 모델을 선택합니다. 다음 정확도 메트릭이 사용됩니다.

        • 다중 클래스 분류: 정확도

        • 회귀: MAE

   3. 시계열: 1단계의 모델 점수 MAE의 10% 이내의 모든 모델을 선택합니다.

3. 선택한 모든 모델 중에서 가장 빠른 예측 속도를 가진 모델을 선택합니다(예측 속도 참조). 이 모델이 가장 빠른 모델입니다.

고려사항

측정된 예측 속도는 예측이 이루어진 데이터 자체가 아닌 교육 데이터 집합의 크기에 따라 결정됩니다. 모델을 배포한 후, 교육 데이터와 예측 데이터의 크기가 크게 다르거나 하나 또는 소수의 데이터 행에 대한 실시간 예측을 만드는 경우 예측이 만들어지는 속도에 차이가 있음을 알 수 있습니다.

과적합은 모델의 예측 동작이 교육 데이터 집합에 너무 밀접하게 매핑될 때 발생합니다. 모델이 과적합되면 교육 데이터 집합에 기억된 패턴만 있을 가능성이 높으며, 미래 값을 정확하게 예측할 수 없습니다.

과적합에는 여러 가지 원인이 있을 수 있는데, 여기에는 교육 알고리즘과 관련된 문제나 지나치게 짧거나 복잡한 교육 데이터 집합이 포함됩니다.

Qlik 프로젝트에서 과적합은 예측 속도를 제외하고 최상위 모델 선택 프로세스에 사용된 모든 메트릭에 대한 테스트 교육 결과 분석을 통해 자동으로 식별됩니다.

• 이진 분류 모델: F1, 정확도(균형 데이터), 정밀도(불균형 데이터)

• 다중 클래스 분류 모델: F1 매크로, 정확도

• 회귀 모델: R2, MAE

테스트 결과와 교육 결과를 비교할 때 이러한 메트릭 간에 10% 이상의 차이가 있는 경우 해당 모델이 과적합된 것으로 의심됩니다.

모델이 과적합되었다는 의심이 들면, 점수가 높더라도 결코 권장 모델로 제시되지 않습니다. 해당 모델은 모델 메트릭 테이블에서 경고 로 표시됩니다.

필터에 표시된 모든 모델이 과적합된 것으로 의심되는 경우 모델 권장이 제공되지 않습니다.