最適なモデルを選択する

ベスト モデル

フィルターに基づいて、分析のベスト モデルが自動的に選択されます。ベスト モデルは のアイコンで強調表示されます。

Qlik Predict では、正確度メトリクスと予測速度を考慮した、バランスの取れた計算からベスト モデルが決定されます。

ベスト モデルを決定するために、次のプロセスが自動的に実行されます。

1. モデル タイプによって決定された予測パフォーマンス メトリクスのスコアが最も高いモデルを選択します。使用されるメトリクスは次のとおりです。

   • 二項分類: F1

   • 多項分類: F1 Macro

   • 回帰: R2

   • 時系列: MASE (MASE を使用できない場合は MAE)

2. ステップ 1 のパフォーマンス スコアを使用して、最高スコアのモデルのスコアの 5% 以内にあるすべてのモデルを選択します。

3. 選択したすべてのモデルの中で、予測速度が最も速いモデルを選択します (予測速度 を参照)。このモデルがベスト モデルです。

最も正確

モデルが一貫して高い正確度で予測を生成できることが重要です。F1、F1 Macro、R2 は、モデルの正確度を総合的に反映するバランスの取れたスコアリングを提供しますが、モデルの生の正確度と精度メトリクスを重視する場合もあるでしょう。

最も正確なモデルは のアイコンで強調表示されます。最も正確なモデルを決定するために、次のプロセスが自動的に実行されます。

1. モデル タイプによって決定された予測パフォーマンス メトリクスのスコアが最も高いモデルを選択します。使用されるメトリクスは次のとおりです。

   • 二項分類: F1

   • 多項分類: F1 マクロ

   • 回帰: R2

   • 時系列:  MASE (MASE を使用できない場合は、最も低い MAE のモデルを選択)

2. ステップ 1 のパフォーマンス スコアを使用して、最高スコアのモデルのスコアの 10% 以内にあるすべてのモデルを選択します。

3. モデル タイプに応じて、次の 2 つの経路のいずれかが使用されます。

   1. 二項分類:

      • トレーニング データセットのバランスが取れている場合、最も正確度が高いモデルを選択します。これは最も正確なモデルです。使用される特定のメトリクスの詳細については、「正確度」を参照してください。

      • トレーニング データセットが不均衡な場合は、精度スコアが最も高いモデルを選択します。使用される特定のメトリクスの詳細については、「適合率」を参照してください。

   2. 多項分類または回帰:

      • 最も正確度が高いモデルを選択します。次の正確度メトリクスが使用されます。

        • 多項分類: 正確度

        • 回帰: MAE

   3. 時系列: MAE スコアがベスト (最も低い) のモデルを選択。

最速モデル

モデルを選択するときは、モデルが予測をどれだけ速く提供できるかを重視するとよいでしょう。最速モデルは のアイコンで強調表示されます。

予測速度に応じて、最速のモデルが決定されます。ただし、モデルの予測正確度は引き続き考慮されます。これは、モデルが高速で予測を出せる可能性があるとしても、一定の正確度が求められるためです。

最速モデルを決定するために、次のプロセスが自動的に実行されます。

1. モデル タイプによって決定された予測パフォーマンス メトリクスのスコアが最も高いモデルを選択します。使用されるメトリクスは次のとおりです。

   • 二項分類: F1

   • 多項分類: F1 マクロ

   • 回帰: R2

   • 時系列:MASE (MASE を使用できない場合は、最も低い MAE のモデルを選択)

2. モデル タイプに応じて、次の経路のいずれかが使用されます。

   1. 二項分類:

      • トレーニング データセットのバランスが取れている場合は、ステップ 1 で選択したモデルの正確度スコアの 10% 以内の正確度スコアを持つすべてのモデルを選択します。使用される具体的なメトリクスについては、「正確度」を参照してください。

      • トレーニングデータセットが不均衡な場合は、ステップ 1 の最高スコアのモデルのスコアの 10% 以内のモデルをすべて選択します。ステップ 1 のメトリクスが使用されます。

   2. 多項分類または回帰:

      • ステップ 1 のモデルの正確度スコアの 10% 以内の正確度スコアを持つすべてのモデルを選択します。次の正確度メトリクスが使用されます。

        • 多項分類: 正確度

        • 回帰: MAE

   3. 時系列: ステップ 1 のモデルの MAE スコアの 10% 以内にあるすべてのモデルを選択します。

3. 選択したすべてのモデルの中で、予測速度が最も速いモデルを選択します (予測速度 を参照)。このモデルが最速モデルです。

考慮事項

測定される予測速度は、予測の対象となるデータではなく、トレーニング データセットのサイズに基づいています。モデルを展開した後、トレーニング データと予測データのサイズが大きく異なる場合や、1 行または少数のデータ行に対してリアルタイム予測を作成する場合に、予測が作成される速度に違いが見られる可能性があります。

オーバーフィットは、モデルの予測動作がトレーニング データセットに過度に適合してしまう場合に発生します。モデルがオーバーフィットされると、トレーニング データセット内の記憶されたパターンのみが保持される可能性が高くなり、将来の値を正確に予測できなくなります。

トレーニング アルゴリズムに関連する問題や、トレーニング データセットが短すぎたり複雑すぎたりすることなど、オーバーフィットにはさまざまな原因があります。

Qlik Predict では、予測速度を除く最上位モデルの選択プロセスで使用されるすべてのメトリクスについて、テスト トレーニング結果の分析を通じて、オーバーフィットが自動的に識別されます。

• 二項分類モデル:F1、正確度 (バランスが取れたデータ)、適合率 (不均衡データ)

• 多項分類モデル:F1 マクロ、正確度

• 回帰モデル:R2、MAE

テスト結果とトレーニング結果を比較したときに、これらのメトリクスのいずれかに 10% を超える差がある場合、モデルはオーバーフィットの疑いがあります。

オーバーフィットの疑いがあるモデルは、たとえスコアが良い場合でも、推奨モデルとして提示されることはありません。モデル メトリクス テーブルでは、モデルに警告 のマークが付けられます。

フィルターに表示されているすべてのモデルがオーバーフィットしていると疑われる場合、推奨モデルは提供されません。