# 最適なモデルを選択する

実験の結果を分析するときは、自分のユース ケースにとって重要な特性を持つモデルを探すことが重要です。たとえば、一貫して正確な予測に加えて、迅速に予測を提供できるモデルも必要になる場合があります。実験の [モデル] タブでは、さまざまな角度の分析に基づいてモデルが推奨されます。

実験の再上位モデルを分析する

実験の再上位モデルを分析する

実験の再上位モデルを分析する ![ML 実験の「モデル メトリクス」テーブル。上位のモデルが推奨として表示されます。](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_top-models.png)

フィルターに基づいて推奨モデルが提示され、さまざまな品質の観点を検討するのに役立ちます。1 つのモデルが、複数の観点から最上位モデルとみなされる場合があります。最上位モデル タイプは次のとおりです。

* the トロフィー icon [ベスト モデル](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/best-models.htm#Best)

* the ターゲット icon [最も正確](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/best-models.htm#MostAccurate)

* the 稲妻 icon [最速モデル](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/best-models.htm#Fastest)

## ユーザー インターフェイスで最上位モデルを表示する

実験の最上位モデルの検索と調査の詳細については、「[モデル メトリクス テーブルの分析](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/analyze-models-quick.htm#Analyzing)」を参照してください。

## ベスト モデル

フィルターに基づいて、分析のベスト モデルが自動的に選択されます。ベスト モデルは the トロフィー icon のアイコンで強調表示されます。

Qlik Predict では、正確度メトリクスと予測速度を考慮した、バランスの取れた計算からベスト モデルが決定されます。

ベスト モデルを決定するために、次のプロセスが自動的に実行されます。

1. モデル タイプによって決定された予測パフォーマンス メトリクスのスコアが最も高いモデルを選択します。使用されるメトリクスは次のとおりです。

   * 二項分類: F1

   * 多項分類: F1 Macro

   * 回帰: R2

   * 時系列: MASE (MASE を使用できない場合は MAE)

2. ステップ 1 のパフォーマンス スコアを使用して、最高スコアのモデルのスコアの 5% 以内にあるすべてのモデルを選択します。

3. 選択したすべてのモデルの中で、予測速度が最も速いモデルを選択します ([予測速度](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/best-models.htm#PredictionSpeed) を参照)。このモデルがベスト モデルです。

## 最も正確

モデルが一貫して高い正確度で予測を生成できることが重要です。F1、F1 Macro、R2 は、モデルの正確度を総合的に反映するバランスの取れたスコアリングを提供しますが、モデルの生の正確度と精度メトリクスを重視する場合もあるでしょう。

最も正確なモデルは the ターゲット icon のアイコンで強調表示されます。最も正確なモデルを決定するために、次のプロセスが自動的に実行されます。

1. モデル タイプによって決定された予測パフォーマンス メトリクスのスコアが最も高いモデルを選択します。使用されるメトリクスは次のとおりです。

   * 二項分類: [F1](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-binary-classification.htm#F1)

   * 多項分類: [F1 マクロ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-multiclass-classification.htm#F1Macro)

   * 回帰: [R2](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#R2)

   * 時系列: [MASE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-time-series.htm#MASE) (MASE を使用できない場合は、最も低い [MAE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-time-series.htm#MAE) のモデルを選択)

2. ステップ 1 のパフォーマンス スコアを使用して、最高スコアのモデルのスコアの 10% 以内にあるすべてのモデルを選択します。

3. モデル タイプに応じて、次の 2 つの経路のいずれかが使用されます。

   1. 二項分類:

      * トレーニング データセットのバランスが取れている場合、最も正確度が高いモデルを選択します。これは最も正確なモデルです。使用される特定のメトリクスの詳細については、「[正確度](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-binary-classification.htm#Accuracy)」を参照してください。

      * トレーニング データセットが不均衡な場合は、精度スコアが最も高いモデルを選択します。使用される特定のメトリクスの詳細については、「[適合率](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-binary-classification.htm#Precision)」を参照してください。

   2. 多項分類または回帰:

      * 最も正確度が高いモデルを選択します。次の正確度メトリクスが使用されます。

        * 多項分類: [正確度](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-multiclass-classification.htm#Accuracy)

        * 回帰: [MAE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#MAE)

   3. 時系列: [MAE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-time-series.htm#MAE) スコアがベスト (最も低い) のモデルを選択。

## 最速モデル

モデルを選択するときは、モデルが予測をどれだけ速く提供できるかを重視するとよいでしょう。最速モデルは the 稲妻 icon のアイコンで強調表示されます。

予測速度に応じて、最速のモデルが決定されます。ただし、モデルの予測正確度は引き続き考慮されます。これは、モデルが高速で予測を出せる可能性があるとしても、一定の正確度が求められるためです。

最速モデルを決定するために、次のプロセスが自動的に実行されます。

1. モデル タイプによって決定された予測パフォーマンス メトリクスのスコアが最も高いモデルを選択します。使用されるメトリクスは次のとおりです。

   * 二項分類: [F1](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-binary-classification.htm#F1)

   * 多項分類: [F1 マクロ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-multiclass-classification.htm#F1Macro)

   * 回帰: [R2](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#R2)

   * 時系列:[MASE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-time-series.htm#MASE) (MASE を使用できない場合は、最も低い [MAE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-time-series.htm#MAE) のモデルを選択)

2. モデル タイプに応じて、次の経路のいずれかが使用されます。

   1. 二項分類:

      * トレーニング データセットのバランスが取れている場合は、ステップ 1 で選択したモデルの正確度スコアの 10% 以内の正確度スコアを持つすべてのモデルを選択します。使用される具体的なメトリクスについては、「[正確度](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-binary-classification.htm#Accuracy)」を参照してください。

      * トレーニングデータセットが不均衡な場合は、ステップ 1 の最高スコアのモデルのスコアの 10% 以内のモデルをすべて選択します。ステップ 1 のメトリクスが使用されます。

   2. 多項分類または回帰:

      * ステップ 1 のモデルの正確度スコアの 10% 以内の正確度スコアを持つすべてのモデルを選択します。次の正確度メトリクスが使用されます。

        * 多項分類: [正確度](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-multiclass-classification.htm#Accuracy)

        * 回帰: [MAE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#MAE)

   3. 時系列: ステップ 1 のモデルの [MAE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-time-series.htm#MAE) スコアの 10% 以内にあるすべてのモデルを選択します。

3. 選択したすべてのモデルの中で、予測速度が最も速いモデルを選択します ([予測速度](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/best-models.htm#PredictionSpeed) を参照)。このモデルが最速モデルです。

## 予測速度

予測速度は、二項分類、多項分類、回帰、時系列など、すべてのモデル タイプに適用されるモデル メトリクスです。予測速度は、機械学習モデルが予測を生成できる速度を測定します。

Qlik Predict では、予測速度は特徴量の計算時間とテスト データセットの予測時間を組み合わせて計算されます。表示単位は 1 秒あたりの行数です。

予測速度は、実験バージョンを実行した後に [モデル メトリクス] テーブルで分析できます。組み込み分析を使用してモデルを分析するときに、予測速度データを表示することもできます。詳細は以下をご覧ください。

* [モデル メトリクス テーブルの分析](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/analyze-models-quick.htm#Analyzing)

* [モデルの比較](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/analyze-models-compare.htm)

### 考慮事項

測定される予測速度は、予測の対象となるデータではなく、トレーニング データセットのサイズに基づいています。モデルを展開した後、トレーニング データと予測データのサイズが大きく異なる場合や、1 行または少数のデータ行に対してリアルタイム予測を作成する場合に、予測が作成される速度に違いが見られる可能性があります。

## オーバーフィット

オーバーフィットは、モデルの予測動作がトレーニング データセットに過度に適合してしまう場合に発生します。モデルがオーバーフィットされると、トレーニング データセット内の記憶されたパターンのみが保持される可能性が高くなり、将来の値を正確に予測できなくなります。

トレーニング アルゴリズムに関連する問題や、トレーニング データセットが短すぎたり複雑すぎたりすることなど、オーバーフィットにはさまざまな原因があります。

Qlik Predict では、予測速度を除く最上位モデルの選択プロセスで使用されるすべてのメトリクスについて、[テスト トレーニング結果](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/holdout-crossvalidation.htm)の分析を通じて、オーバーフィットが自動的に識別されます。

* 二項分類モデル:[F1](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-binary-classification.htm#F1)、[正確度](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-binary-classification.htm#Accuracy) (バランスが取れたデータ)、[適合率](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-binary-classification.htm#Precision) (不均衡データ)

* 多項分類モデル:[F1 マクロ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-multiclass-classification.htm#F1Macro)、[正確度](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-multiclass-classification.htm#Accuracy)

* 回帰モデル:[R2](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#R2)、[MAE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#MAE)

テスト結果とトレーニング結果を比較したときに、これらのメトリクスのいずれかに 10% を超える差がある場合、モデルはオーバーフィットの疑いがあります。

オーバーフィットの疑いがあるモデルは、たとえスコアが良い場合でも、推奨モデルとして提示されることはありません。モデル メトリクス テーブルでは、モデルに警告 the 警告 icon のマークが付けられます。

フィルターに表示されているすべてのモデルがオーバーフィットしていると疑われる場合、推奨モデルは提供されません。

### オーバーフィットへの対処

オーバーフィットには、次の方法で対処できます。

* オーバーフィットの疑いがあるモデルは展開しないでください。

* トレーニング データセットに問題があると思われる場合は、オーバーフィットを避けるためのトレーニング データを準備する方法について、「[トレーニング用のデータセットの準備](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/dataset-preparation.htm) 」を参照してください。