모델 검토

기계 학습 모델을 평가하려면 모델 점수와 지표를 이해할 수 있어야 합니다. 경우에 따라 각 필드와 값이 예측 결과에 어떻게 영향을 미치는지 이해하는 것, 즉 어떤 일이 발생하는 이유를 이해하는 것이 예측을 하는 것보다 더 중요할 수 있습니다.

모델 채점이 중요한 이유

다른 모델 점수의 목적은 모델의 강점을 이해하는 것입니다. 이렇게 하면 모델의 유용성에 대한 신뢰가 높아지고 어떤 개선이 가능한지 알 수 있습니다. 점수가 매우 높거나 낮으면 모델에 공급되는 데이터에 문제가 있음을 나타낼 수 있습니다.

모델에 대한 서로 다른 사항을 설명하는 몇 가지 메트릭이 있기 때문에 모델 채점은 어려운 작업입니다. 좋은 모델인지 확인하려면 비즈니스 도메인 지식과 모델이 교육된 다양한 채점 메트릭 및 데이터에 대한 이해를 결합해야 합니다. 하나의 사용 사례에서 형편없는 점수처럼 보일 수 있는 것이 다른 사용 사례에서는 좋은 점수가 될 수 있고 높은 투자 수익을 창출할 수 있습니다.

가장 중요한 메트릭: 자동차 비유

어떤 메트릭이 가장 중요합니까? 이는 모델 사용 계획에 따라 다릅니다. 알고 싶은 모든 것을 말해 줄 수 있는 단일 메트릭은 없습니다.

비유하자면 자동차 구입을 생각해 보십시오. 연비, 마력, 토크, 무게 및 가속과 같이 고려해야 할 다양한 메트릭이 많이 있습니다. 이러한 메트릭이 모두 훌륭하기를 원할 수도 있지만, 차를 어떻게 사용할 계획인지에 따라 절충해야 합니다. 통근자는 토크가 낮아도 연비가 높은 차를 원할 수 있고, 보트 소유자는 연비가 낮아도 높은 토크를 선택할 수 있습니다.

모델도 같은 방식으로 생각할 수 있습니다. 모든 메트릭이 높기를 원하고 더 많은 데이터와 우수한 기능으로 메트릭을 개선할 수 있지만 항상 제약과 절충안이 있습니다. 일부 점수는 모델로 수행하려는 작업에 따라 더 중요합니다.

모델이 적합합니까?

모델이 적합한 사용 사례로서 생산에 적용할 수 있는지 확인하려면 궁극적으로 다음 질문으로 귀결됩니다. "수락할 수 없는 결과 없이 긍정적인 투자 수익을 낼 수 있을 만큼 모델이 정확합니까?" 다음 네 가지 질문이 이를 분석하는 데 도움이 될 수 있습니다.

모델이 사람의 결정을 알리거나 자동화합니까?

필요한 정확도는 모델을 사용하여 의사 결정을 자동화하거나 알리는 데 사용하는지 여부에 따라 다릅니다. 예를 들어, 직원이 얼마나 많은 돈을 벌어야 하는지 확인하기 위해 모델을 교육할 수 있습니다. 이 경우 모델이 결정을 알리기만 하는 경우에 비해 모델이 결정을 자동화하는 경우 정확도가 더 높아야 할 것입니다. 관리자가 이를 사용하여 직원의 급여가 적게 지급되었거나 많이 지급되었는지 알게 되면 모델에 오류가 있는지 여부를 확인하기 위해 자신의 재량권을 발휘할 수 있습니다.

가양성 또는 가음성에 대한 비용을 정량화할 수 있습니까?

잘못된 결과에 대한 비용을 정량화할 수 있습니까? 모델이 적합한지 판단하기 위해 고려해야 하는 정확도 수준이 확인되면 해당 비용을 계산에 넣습니다.

위와 동일한 예를 사용하여 모델이 단순히 정보를 제공한다고 가정해 보겠습니다. 그러나 관리자는 모델에서 직원이 인상되면 초과 지불될 것이라고 출력하기 때문에 이 모델을 신뢰하고 직원에게 급여를 인상하지 않습니다. 그러면 직원은 퇴직하여 다른 곳으로 이직합니다. 그 직원을 잃은 비용은 얼마였습니까? 그 반대의 경우 거짓으로 인상을 한 비용은 얼마였습니까?

모델이 임의로 결정하는 것보다 얼마나 더 좋습니까?

회귀 문제의 경우 항상 대상 열의 평균 값을 가정한 경우 오류가 무엇인지 확인하십시오. 그 모델과 비교하면 얼마나 더 좋습니까?

분류 문제의 경우 양성 클래스의 비율을 제곱한 후 이를 음성 클래스의 비율 제곱에 더하여 임의 정확도를 가져옵니다. 그것보다 모델 정확도가 얼마나 더 좋습니까?

모델이 최후 통첩을 하는 것보다 좋습니까?

오류와 관련된 비용이 있는지 여부에 따라 모델이 최후 통첩보다 좋은지 여부를 고려합니다. 예를 들어, 한 회사가 비용과 시간이 많이 소요($6,000)되는 무료 컨설팅을 수행하고 있지만 거래가 성사되면 좋은 수익($60,000)을 창출한다고 가정해 보겠습니다. 이 회사는 현재 상담이 100% 성사된다는 가정하에 운영되고 있습니다. 그러나 해야 할 상담과 하지 말아야 할 상담을 확인할 수 있다면 우수한 이익을 얻을 수 있을 것입니다. 회사가 100%의 거래가 성사될 것이라는 최후 통첩 대신 모델 출력을 사용하려면 모델 정확도가 얼마여야 합니까?