モデルの改良

初期モデルをいくつか作成したら、それらのモデルを改良して、有効性と正確度を高めることが重要です。モデル スコアは、パフォーマンスのさまざまなメジャーを示しています。モデルを改良する目的はこれらのスコアを上げることですが、スコアが高いほどモデルが優れているとは限りません。

特徴量の除外または包含、トレーニング データの変更、その他の構成パラメーターの変更により、モデルを改良することができます。そうすると、異なるバージョンを比較して変更が与える影響を理解することができます。

ここでは、スコアを解釈することで、モデルを改良する方法を学習します。さまざまな指標の値から、結果を改善するために取るべき行動についてのインサイトが得られます。

要件と権限

ML 実験を操作するためのユーザー要件については、「実験の作業」を参照してください。

新しいバージョンの構成

実験バージョンの実行後、必要に応じて新しいバージョンを作成してモデルを改良することができます。

次の手順を実行します。

1. [モデル メトリクス] テーブルで、改良するモデルを選択します。

2. 右下の [構成を表示] をクリックして、[実験構成] パネルを開きます。

3. [新しいバージョン] をクリックします。

新しいバージョンの作成後、次のような構成を変更することができます。

• 既存の特徴量の除外

• 以前は除外されていた特徴量の包含

• データセットの変更または更新

• アルゴリズムの選択または選択解除

これらのオプションの詳細については、以下のセクションをご覧ください。

新しいバージョンの下書き時に、[実験構成] パネルの [特徴量] にある フィルターをクリックします。フィルターすると、トレーニング データセットの変更後に導入された特徴量を容易に視覚化することができます。自動設計された特徴量と設計されていない特徴量を見分けることもできます。

データセットの改善

モデルのスコアが良くない場合は、データセットを見直して問題に対処することをお勧めします。データセットを改善する方法の詳細については、「トレーニング用のデータセットの準備」を参照してください。

特徴量の除外

特徴量が多いほど、優れたモデルになるというわけではありません。モデルを改良するには、信頼性が低く関連性のない、次のような特徴量を除外します。

• 相関が高すぎる特徴量。相関がある 2 つの特徴量から、特徴量の重要度が低いほうを除外します。

• 特徴量の重要度が低すぎる特徴量。これらの特徴量は、学習しようとしている内容に何の影響も与えません。

• 特徴量の重要度が高すぎる特徴量。データ漏洩が原因である可能性があります。

テストでトレーニング データから特徴量を削除してから、トレーニングを再度実行して、モデルが改善されるかどうかを確認します。モデル スコアに大きな変化はあるでしょうか。それともないでしょうか。

次の手順を実行します。

1. カタログから実験を開きます。

2. 改良するモデルを選択します。

3. 右下の [構成を表示] をクリックして、[実験構成] パネルを開きます。

4. [新しいバージョン] をクリックして、新しい実験バージョンを構成します。

5. [特徴量] で、トレーニングで使用しない特徴量のチェックボックスをオフにします。

特徴量の追加

モデルのスコアが良くならない場合は、ターゲットと関連のある特徴量がまだデータセットに取り込まれていないことが原因かもしれません。データ品質を最適化するためにデータセットを再処理して再利用し、新しい特徴量と情報を追加できます。準備完了後、将来の実験バージョンに新しいデータセットを追加できます。「データセットの変更と更新」を参照してください。

新しい特徴量をキャプチャまたはエンジニアリングする方法の詳細については、「新しい特徴量列の作成」を参照してください。

アルゴリズムの選択

ターゲット列のデータ型に基づいて、トレーニングに適したアルゴリズムが自動的に選択されます。パフォーマンスが低い、または遅いアルゴリズムは除外することをお勧めします。そうすることで、トレーニングの時間を浪費せずに済みます。

アルゴリズムが選択される方法の詳細については、「アルゴリズム」を参照してください

次の手順を実行します。

1. カタログから実験を開きます。

2. 改良するモデルを選択します。

3. 右下の [構成を表示] をクリックして、[実験構成] パネルを開きます。

4. [新しいバージョン] をクリックして、新しい実験バージョンを構成します。

5. [アルゴリズム] で、トレーニングで使用しないアルゴリズムのチェックボックスをオフにします。

データセットの変更と更新

前回の実験バージョン以降、トレーニング データに変更が加えられている場合は、実験の将来のバージョン用にデータセットを変更または更新することができます。

同一実験内の異なるデータセット用にモデル メトリクスやパフォーマンスを比較する場合に役立つ可能性があります。例えば、次の場合に有用です。

• データ レコードの新しいセットが利用できるか、データ レコードの元のセットが更新されている場合。例えば、直近月のトランザクションが利用できるようになり、トレーニングに使用することが適切な場合、またはデータ コレクションの問題が特定され、対処済みの場合。

• モデル トレーニングの改善を目的として、元のトレーニング データセットが再処理されるか、再利用されている場合。例えば、理論を改善して特徴量列の値を定義するか、新しい特徴量列をさらに加えているとします。

データセットの変更または更新により、以前の実験バージョンでトレーニング済みの既存モデルが変更されることはありません。実験バージョン内では、モデルは、特定のバージョン内で定義されたトレーニング データのみでトレーニングされます。

要件

新しい実験バージョンのためにデータセットを変更または更新する場合、データセットは次の要件を満たす必要があります。

• ターゲット列の名前と特徴量タイプは、元のトレーニング データセットのターゲットと同一であること。

• ターゲット列にある個別の値の数は、指定された実験タイプの要件と同一範囲であること。例えば、多項分類の実験には、引き続き 3 から 10 個の一意な値が新しいデータセットのターゲット列に必要です。特定の範囲については、「作成されたモデルの種類の決定」を参照してください。

他の特徴量列は完全に新しいもので、異なる名前、異なるデータを含むことができます。

データセットの変更

次の手順を実行します。

1. 実験内の [モデル メトリクス] テーブルで、モデルを選択します。

2. 右下の [構成を表示] をクリックして、[実験構成] パネルを開きます。

3. [新しいバージョン] をクリックして、新しい実験バージョンを構成します。

4. [トレーニング データ] で、[データセットを変更] をクリックします。

5. 新しいデータセットを選択するか、アップロードします。

データセットの更新

次の手順を実行します。

1. 実験内の [モデル メトリクス] テーブルで、モデルを選択します。

2. 右下の [構成を表示] をクリックして、[実験構成] パネルを開きます。

3. [新しいバージョン] をクリックして、新しい実験バージョンを構成します。

4. [トレーニング データ] で、[データセットを変更] をクリックします。

   データセットの変更が可能な場合には通知があります。通常、同一名の新しいファイルの作成により既存データ ファイルが上書きされると、データセットは更新されます。

実験バージョンの比較

変更が完了したら、トレーニングを再度実行し、新しいバージョンと古いバージョンを比較して変更の影響を確認します。

次の手順を実行します。

1. 画面右下隅にある [Run v2] (v2 を実行) をクリックして、別の実験バージョンをトレーニングします。

   (ボタンのテキストは、実行したバージョンの数によって異なります)

2. [モデル メトリクス] テーブルでは、アルゴリズム、バージョン、その他のプロパティのドロップダウン メニューを使用して、モデルをフィルタリングできます。テーブルは、個別のメトリクス列で並べ替えることもできます。

実験バージョンの削除

保存の必要がない実験バージョンは、削除できます。実験バージョンのすべてのモデルが削除され、復元できないことに注意してください。

次の手順を実行します。

1. [モデル メトリクス] テーブルで、削除する実験バージョンからモデルを選択します。

2. 右下の [<version number> を削除] をクリックします。

3. 確認ダイアログで、[削除] をクリックします。