モデル バージョンのレビューと改良

最初のバージョンのモデル トレーニングが終了したら、その結果得られたモデル メトリクスを分析し、必要な結果が得られるまで新しいバージョンの実験を設定します。

実験バージョンを実行すると、モデル ビューが表示され、結果のモデル メトリクスを分析できます。スキーマ ビューとデータ ビューはいつでも切り替えることができます。モデル ビューに戻る必要がある場合は、モデル ビュー アイコンをクリックします。

すべてのメトリクスが [モデル メトリクス] テーブルに入力され、上位モデルの横にトロフィー アイコンが表示されると、トレーニングの最初のバージョンが終了したことがわかります。

モデルの分析

モデル ビューで、上位アルゴリズムがスコアされ、トロフィー アイコンが表示されます。これは、F1 スコアに基づくパフォーマンス最上位のモデルであることを意味します。

次の手順を実行します。

1. テーブルの右上で、列ピッカー ボタンをクリックします。ここでは、問題に対して使用可能なすべてのメトリクスを表示し、必要に応じてメトリクスを追加または削除できます。テーブルに表示するメトリクスを選択するか、既定のメトリクスをそのまま使用します。

   

2. [モデル メトリクス] テーブルで、 [アルゴリズム] フィルター ドロップダウンをクリックし、パフォーマンス最上位モデルに対応するアルゴリズムを選択します。

3. [トレーニング データ メトリクスを表示する] をオンにします。

   クロス検証トレーニングからのメトリクスが表示され、ホールドアウト メトリクスと比較できるようになりました。各ホールドアウト メトリクスの列には、トレーニング データからの同等のメトリクスに対応する「train」列があります。

   

4. [フィルターをクリア] をクリックし、[トレーニング データ メトリクスを表示する] をオフに切り替えます。

5. F1 列ヘッダーをクリックして、高いものから低いものへ、パフォーマンス順でモデルを並べ替えます。パフォーマンスの低いアルゴリズムを除外するか、最も優れたアルゴリズムのみに焦点を当てて次のトレーニングを反復することで、より高速に結果を得ることができます。これについては、後のセクションで v3 を構成する際に説明します。

6. メトリクス テーブルの下にスクロールすると、選択したモデルのビジュアライゼーションが表示されます。

   

7. または [構成を表示] をクリックして、[実験構成] パネルを展開します。

8. [新しいバージョン] をクリックして、次の実験バージョンの下書きを作成します。

9. Permutation Importance チャートと、 [実験構成] ペインの特徴量リストから、モデルのこの最初の反復が DaysSinceLastService 特徴量に非常に大きく依存していることがわかります。他のすべての特徴量は、それと比較するとほとんど重要ではありません。

   

   この不均衡、およびモデル「extremely high performance」は、何らかの不具合の兆候と捉える必要があります。この場合、データ収集時に、サブスクリプションをキャンセルした顧客の最後のサービス チケットからの日数のカウントを停止するロジックが定義されていませんでした。その結果、最後のサービス チケットからの日数が多いことを Churned 項目の yes の値と関連付けることをモデルは学習しました。

   実際のシナリオでは、モデルは予測するまでの情報にしかアクセスできず、この項目に含まれる日数はその測定ポイントを過ぎてから収集されたものなので、これはデータ漏洩の一例となります。データ漏洩に関する詳細については、データ漏洩を参照してください

   「漏洩」特徴量である DaysSinceLastService は、モデルの結果に歪みを与えるため、実験構成から削除する必要があります。実際のユースケースでは、モデルを作成する前にデータの品質とロジックを十分に調査して、モデルの結果が適切にトレーニングされるようにする必要があることにも注意してください。

   この問題については、次のセクションで v2 を構成する際に説明します。

バージョン 2 の設定と実行

このデータ漏洩の問題が解決されると、モデル トレーニングのほとんどが変更されるため、これ以上の改良を完了する前に新しいバージョンを設定てみましょう。

次の手順を実行します。

1. 前のステップから、configuring v2 に対して [Experiment configuration] ペインがすでに開いています。

2. [実験の構成] ペインの [特徴量] ペインで、[DaysSinceLastService] チェックボックスをクリアします。

3. [Run v2] をクリックします。

バージョン 3 の設定と実行

2 番目のバージョンの実験が終了したら、メトリクス テーブルで、パフォーマンス最上位の v2 モデル (トロフィー アイコンが付いている) の横のチェックボックスをクリックします。これにより、そのモデルのメトリクスでページが更新されます。

[モデル メトリクス] テーブルの上で、 [バージョン] フィルター ドロップダウンをクリックし、2 を選択します。これにより、v2 モデルのメトリクスのみに焦点を当てることができます。

データ漏洩への対応後、重要な特徴量のリストが大きく変化していることに気づくと思います。パフォーマンス最上位モデルは、v1 のパフォーマンス最上位モデルとは異なるアルゴリズムを使用している可能性もあります。

次の手順を実行します。

1. Permutation Importance チャートを見てください。他の特徴量に比べてモデルに与える影響がはるかに小さい特徴量が存在する場合があります。このユースケースには価値がほとんどなく、統計的ノイズと見なすことができます。こうした特徴量のいくつかを削除して、モデル スコアが改善するかどうかを確認することができます。

   

2. または [構成を表示] をクリックして、[実験構成] パネルを展開します。

3. [新しいバージョン] をクリックして、次の実験バージョンの下書きを作成します。

4. [実験構成] パネルの [特徴量] で、モデルにほとんどまたはまったく影響していない特徴量のチェックボックスを 1 つまたは複数オフにします。

5. [モデル メトリクス] テーブルを見てください。パフォーマンスの低いアルゴリズムをいくつか除外するか、最も優れたアルゴリズムのみに焦点を当てて次のトレーニングを反復することで、より高速に結果を得ることができます。

6. [実験の構成] パネルの [アルゴリズム] で、必要に応じていくつかのパフォーマンスが低いアルゴリズムのチェックボックスをオフにします。

7. [Run v3] をクリックします。

実験バージョンの比較

[モデル メトリクス] テーブルで、 [フィルターをクリア] をクリックします。

v3 が実行されたら、パフォーマンス最上位 v3 モデルの横にあるチェックボックスをクリックして、そのメトリクスを表示します。

[その他のモデル フィルター] をクリックし、 [トップ パフォーマー] フィルターを選択します。実験の各反復の最上位パフォーマンスのメトリクスを見ることができます。

最初のバージョンのトレーニングでは最高のスコアが獲得できましたが、これらのメトリクスはデータ漏洩の問題に起因する、非常に誇張された非現実的なパフォーマンスの予測でした。v3 では、パフォーマンス最上位モデルの F1 スコアはパフォーマンス最上位 v2 モデルのスコアから上昇しました。

現実のシナリオでは、特定のユース ケースに最適なモデルを作成するために、モデルを展開する前にこういった改良のステップを何度も繰り返すことが重要です。

このチュートリアルでは、モデルの展開に関する次のセクションに移動します。