모델 비교

실험의 비교 탭에서는 교육한 모델에 대한 모든 모델 점수와 하이퍼 매개 변수를 볼 수 있습니다. 포함된 분석을 사용하여 모델을 비교하십시오.

교육이 완료되면 비교 탭에서 모델의 비교 분석을 수행합니다. 모델 비교를 마치면 분석 탭으로 전환하여 개별 모델을 자세히 분석할 수 있습니다. 자세한 내용은 세부 모델 분석 수행을 참조하십시오.

분석 작업흐름

모델 교육 결과를 완전히 이해하려면 빠른 분석을 완료한 다음 비교 및 분석 탭에서 추가 옵션을 진행하는 것이 좋습니다. 빠른 분석은 지능형 최적화 프로세스 중에 어떤 기능이 삭제되었는지 보여 주는 모델 교육 요약을 제공하고 빠른 소비를 위해 자동 생성된 다양한 시각화도 제공합니다. 비교 및 분석 탭에는 모델 교육 요약이 표시되지 않지만 모델 메트릭을 더 자세히 분석하여 모델 품질을 더 잘 이해할 수 있습니다. 빠른 분석에 대한 자세한 내용은 빠른 모델 분석 수행을 참조하십시오.

개념 이해

모델 비교를 시작하기 전에 모델 분석의 기본 개념을 이해하는 것이 도움이 될 수 있습니다. 자세한 내용은 모델 검토 개념 이해을 참조하십시오.

최적화 설정이 분석에 미치는 영향

지능형 모델 최적화 사용 여부에 따라 분석 환경이 약간 다를 수 있습니다. 새로운 실험에서는 지능형 모델 최적화가 기본적으로 켜져 있습니다.

지능형 최적화로 교육된 모델 분석

기본적으로 새로운 실험은 지능형 모델 최적화를 통해 실행됩니다.

지능형 모델 최적화는 추가 구체화 없이 배포할 준비가 된 모델을 이상적으로 만드는 보다 강력한 교육 프로세스를 제공합니다. 이러한 모델을 프로덕션 사용 사례에 배포하는 성능은 관련 기능과 데이터가 포함된 고품질 데이터 집합으로 교육하는 데 달려 있습니다.

버전이 지능형 모델 최적화로 교육된 경우 다음을 고려합니다.

• 버전의 각 모델은 알고리즘이 데이터를 분석한 방식에 따라 서로 다른 기능을 선택할 수 있습니다.

• 특정 분석을 시작하기 전에 모델 탭에서 해당 모델에 대한 모델 교육 요약을 읽어보십시오. 모델 교육 요약은 AutoML이 잠재적으로 문제가 있는 기능을 제외하여 모델을 자동으로 최적화하는 방법에 대한 요약을 보여 줍니다.

지능형 모델 최적화에 대한 자세한 내용은 지능형 모델 최적화를 참조하십시오.

지능형 최적화 없이 교육된 모델 분석

또는 교육 버전에 대해 지능형 모델 최적화를 해제했을 수도 있습니다. 교육 프로세스에 대한 더 많은 제어가 필요한 경우 모델을 수동으로 최적화하는 것이 도움이 될 수 있습니다.

수동 최적화를 사용한 경우 해당 버전의 모든 모델에는 동일한 기능 선택이 포함되므로 모델 교육 요약이 필요하지 않습니다.

구성 검사

사전 처리 중에 기능이 교육에서 사용되지 않도록 제외되었을 수 있습니다. 이는 일반적으로 버전을 실행하기 전보다 교육이 진행됨에 따라 데이터에 대해 더 많은 정보가 알려지기 때문에 발생합니다.

모델 교육 요약(지능형 최적화로만 표시됨)을 검토한 후 다른 변경 내용을 확인해야 하는 경우 실험 구성을 자세히 살펴볼 수 있습니다.

다음과 같이 하십시오.

1. 실험에서 데이터 탭으로 전환합니다.

2. 스키마 보기에 있는지 확인합니다.

3. 버전에서 모델을 선택하려면 도구 모음의 드롭다운 메뉴를 사용합니다.

4. 모델 스키마를 분석합니다. 특정 기능이 삭제되었거나 다른 기능 유형으로 변환되었는지 확인하려면 통찰력 및 기능 유형 열을 집중적으로 살펴볼 수 있습니다.

   예를 들어, 초기에 가능한 무료 문자로 표시된 기능이 버전을 실행한 후에 제외되었을 수 있습니다.

   각 통찰력의 의미에 대한 자세한 내용은 데이터 집합 통찰력 해석을 참조하십시오.

기본 지능형 최적화 옵션을 사용하여 버전을 실행한 경우 버전의 각 모델은 자동 구체화로 인해 다른 기능 선택을 가질 수 있습니다. 버전이 지능형 최적화 없이 실행된 경우 기능 선택은 해당 버전의 모든 모델에 대해 동일합니다. 지능형 모델 최적화에 대한 자세한 내용은 지능형 모델 최적화를 참조하십시오.

이 구성에서 찾은 내용에 따라 기능 데이터를 개선하기 위해 데이터 집합 준비 단계로 돌아가야 할 수도 있습니다.

모델 비교 시작

다음과 같이 하십시오.

• 교육이 완료된 후 비교 탭을 엽니다.

분석 콘텐츠는 실험 대상에 정의된 모델 유형에 따라 다릅니다. 다양한 모델 유형에 대해 다양한 메트릭을 사용할 수 있습니다.

포함된 분석 탐색

인터페이스를 사용하여 모델과 포함된 분석을 대화형으로 비교합니다.

시트 간 전환

시트 패널을 사용하면 분석 시트 간에 전환할 수 있습니다. 각 시트에는 특정 초점이 있습니다. 필요에 따라 패널을 확장하고 축소할 수 있습니다.

선택하기

데이터를 구체화하려면 선택을 사용합니다. 모델, 기능 및 기타 매개 변수를 선택할 수 있습니다. 이를 통해 교육 세부 정보를 자세히 살펴볼 수 있습니다. 어떤 경우에는 시각화를 표시하기 위해 하나 이상의 항목을 선택해야 할 수도 있습니다. 시각화 및 필터 창에서 데이터 값을 클릭하여 선택합니다.

선택과 관련하여 다음을 수행할 수 있습니다.

• 콘텐츠를 클릭하고, 범위를 정의하고, 그려서 값을 선택합니다.

• 차트 내에서 검색하여 값을 선택합니다.

• 포함된 분석 상단의 도구 모음에서 선택한 필드를 클릭합니다. 이를 통해 기존 선택 항목을 검색하고 잠그거나 잠금 해제하고 추가로 수정할 수 있습니다.

• 포함된 분석 상단의 도구 모음에서 을 클릭하여 선택 항목을 제거합니다. 아이콘을 클릭하여 모든 선택을 해제합니다.

• 및 을 클릭하여 선택의 이전 및 다음 단계로 이동합니다.

분석에는 데이터를 더 쉽게 구체화할 수 있는 필터 창이 포함되어 있습니다. 필터 창에서 값에 대한 확인란을 클릭하여 선택합니다.필터 창에 여러 목록 상자가 포함된 경우 목록 상자를 클릭하여 확장한 다음 원하는 항목을 선택합니다.

테이블 사용자 지정

테이블 시각화를 사용하면 표시되는 열뿐만 아니라 모양과 느낌을 사용자 지정할 수 있습니다. 다음 옵션을 사용하여 테이블을 사용자 지정할 수 있습니다.

• 열의 외부 테두리를 클릭하고 끌어 열 너비를 조정합니다.

• 열 헤더를 클릭하면 다음을 수행할 수 있습니다.

  • 열 정렬 조정

  • 열에서 값 검색

  • 선택 적용

데이터 다시 로드

최신 교육 데이터로 분석을 새로 고치려면 데이터 다시 로드를 클릭합니다. 사용자 또는 다른 사용자가 분석을 연 후 추가 버전의 교육을 실행하는 경우 이러한 최신 버전을 시각화하려면 데이터를 다시 로드해야 합니다.

카탈로그로 데이터 내보내기

모델 비교 분석에 사용된 데이터를 카탈로그로 내보낼 수 있습니다. 데이터는 Qlik Cloud 분석의 공간으로 내보내집니다. 내보낸 데이터를 사용하여 사용자 지정 분석을 위한 Qlik Sense 앱을 만들 수 있습니다.

자세한 내용은 모델 교육 데이터 내보내기을 참조하십시오.

특정 메트릭을 기준으로 모델 순위 지정

모델 비교 시트에는 지정된 메트릭에서 모델을 서로 비교하는 방식을 시각화하는 대화형 차트가 포함되어 있습니다. 각 차트 아래의 필터 창을 사용하여 다양한 메트릭을 시각화합니다. 이 사용자 지정을 사용하여 예측 사용 사례에 가장 중요한 메트릭을 표시합니다.

모델 점수와 하이퍼 매개 변수 값 비교

세부 정보 시트에는 모델 점수와 하이퍼 매개 변수가 표 형식으로 표시됩니다. 시트 왼쪽에 있는 필터 창을 사용하여 필요에 따라 모델과 메트릭을 추가하고 제거합니다.

홀드아웃 점수와 교육 점수 비교

세부 정보 시트는 자동 홀드아웃 데이터(교육 후 모델 성능의 유효성을 검사하는 데 사용되는 데이터)를 기반으로 하는 메트릭을 보여 줍니다. 홀드아웃 점수와 비교하기 위해 교육 데이터 메트릭을 모델 메트릭 테이블에 추가할 수도 있습니다. 이러한 점수는 종종 비슷하지만 크게 다를 경우 데이터 유출 또는 과적합 문제가 있을 수 있습니다.

다음과 같이 하십시오.

1. 비교 탭에서 세부 정보 시트를 엽니다.

2. 시트의 왼쪽에 있는 표시할 열 섹션에서 메트릭 필터 창을 확장합니다.

3. 필요에 따라 열을 변경하려면 확인란을 선택하거나 선택 취소합니다. 교육 데이터 메트릭을 열로 추가할 수 있습니다.

모델 메트릭 테이블에 열이 추가되었습니다.