モデルの比較

実験の [比較] タブには、トレーニングしたモデルのモデル スコアとハイパーパラメーターがすべて表示されます。組み込み型アナリティクスを使用してモデルを比較します。

トレーニングが終了したら、 [比較] タブでモデルの比較分析を実行します。モデルの比較が完了したら、 [分析] タブに切り替えて、個々のモデルの詳細な分析を実行できます。詳細については、「詳細なモデル分析の実行」を参照してください。

分析ワークフロー

モデル トレーニングの結果を完全に理解するには、クイック分析を完了してから、 [比較] タブと [分析] タブの追加オプションに進むことをお勧めします。クイック分析では、インテリジェント最適化プロセス中に削除された特徴量を示す [モデル トレーニングの概要] が提供され、また、すぐに使用できるように自動生成されたビジュアライゼーションも多数提供されます。[比較] タブと [分析] タブには [モデル トレーニングの概要] は表示されませんが、モデルの品質をよりよく理解するために、モデルのメトリクスをより深く掘り下げることができます。クイック分析の詳細については、「モデルのクイック分析の実行」を参照してください。

コンセプトの理解

モデルの比較を始める前に、モデル分析の背後にある概念の基本を理解しておくと役立ちます。詳細については、「モデル レビューの概念を理解する」を参照してください。

最適化の設定が分析に与える影響

インテリジェント モデル最適化を使用したかどうかによって、分析エクスペリエンスが若干異なる場合があります。新しい実験では、インテリジェント モデル最適化が既定でオンになっています。

インテリジェント最適化でトレーニングされたモデルの分析

新しい実験では、インテリジェント モデル最適化が既定でオンになっています。

インテリジェント モデル最適化により、より堅牢なトレーニング プロセスが提供され、ほぼ改良を加えることなく、すぐに展開できる理想的なモデルが作成されます。これらのモデルを本番環境のユースケースに展開した場合のパフォーマンスは、関連する特徴量とデータを含む高品質のデータセットを使用してモデルをトレーニングできるかどうかに依存します。

使用中のバージョンがインテリジェント モデル最適化を使用してトレーニングされたものである場合は、次の点を考慮してください。

• バージョン内の各モデルは、アルゴリズムがデータをどのように分析したかに応じて、異なる特徴量の選択を持つことができます。

• 特定の分析に進む前に、 [モデル] タブから、モデルの [モデル トレーニングの概要] をお読みください。 [モデル トレーニングの概要] には、AutoML が特徴量選択を反復し、高度な変換を適用することでモデルを自動的に最適化した方法の概要が表示されます。

インテリジェント モデル最適化の詳細については、「インテリジェント モデル最適化」を参照してください。

インテリジェント最適化なしでトレーニングされたモデルの分析

別の方法として、トレーニングのバージョンに対してインテリジェント モデル最適化をオフにしている場合があります。トレーニング プロセスをより細かく制御する必要がある場合は、モデルを手動で最適化すると便利です。

手動最適化を使用した場合、バージョン内のすべてのモデルで同じ特徴量の選択が行われるため、 [モデル トレーニングの概要] は必要ありません。

構成の検査

前処理中に、トレーニングで使用されない特徴量が除外された可能性があります。これは通常、トレーニングが進むにつれて、バージョンを実行する前よりもデータに関する情報が増えるために発生します。

モデル トレーニングの概要 (インテリジェント最適化でのみ表示) を確認した後、その他の変更を確認する必要がある場合は、実験構成を詳しく調べることができます。

次の手順を実行します。

1. 実験で、 [データ]タブに切り替えます。

2. スキーマ ビューになっていることを確認してください。

3. ツール バーのドロップダウン メニューを使用して、バージョンからモデルを選択します。

4. モデルのスキーマを分析します。特定の特徴量がドロップされたか、別の特徴量タイプに変換されたかどうかを確認するには、 [インサイト] 列と [特徴量タイプ] 列に注目してください。

   たとえば、最初は [利用可能なフリー テキスト] としてマークされていた特徴量が、バージョンを実行した後に除外されている可能性があります。

   各インサイトの意味の詳細については、「データセットのインサイトの解釈」を参照してください。

既定のインテリジェント最適化オプションを使用してバージョンを実行した場合、自動調整により、バージョン内の各モデルで異なる特徴量の選択が行われる可能性があることに注意してください。バージョンがインテリジェント最適化なしで実行された場合、特徴量の選択はバージョン内のすべてのモデルに対して同じになります。インテリジェント モデル最適化の詳細については、「インテリジェント モデル最適化」を参照してください。

この構成で見つかった内容に基づいて、特徴量データを改善するためにデータセットの準備段階に戻る必要がある場合があります。

モデルの比較を開始する

次の手順を実行します。

• トレーニングが終了したら、 [比較] タブを開きます。

分析コンテンツは、実験のターゲットによって定義されたモデル タイプに応じて異なります。モデル タイプに応じて使用できるメトリクスは異なります。

組み込み型アナリティクスのナビゲート

インターフェイスを使用して、組み込み型アナリティクスを備えたモデルをインタラクティブに比較します。

シート間の切り替え

[シート] パネルを使用すると、分析内のシートを切り替えることができます。各シートには特定の焦点があります。パネルは、必要に応じて展開や折りたたみができます。

選択の実行理解

選択を使用してデータを絞り込みます。モデル、特徴量、その他のパラメーターを選択できます。これにより、トレーニングの詳細を確認できるようになります。場合によっては、表示するビジュアライゼーションを 1 つ以上選択する必要があります。ビジュアライゼーションおよびフィルター パネルでデータ値をクリックして選択します。

選択に関して、次の操作を実行できます。

• コンテンツをクリックして値を選択し、範囲を定義して、描画します。

• チャート内を検索して値を選択します。

• 組み込み型分析の上部にあるツール バーで選択した項目をクリックします。これにより、既存の選択内容の検索、選択内容のロックまたはロック解除、さらに変更ができます。

• 組み込み型分析の上部にあるツール バーで、 をクリックして選択を削除します。 アイコンをクリックしてすべての選択をクリアします。

• と をクリックして、選択内容を前後に移動します。

分析には、データを簡単に絞り込むためのフィルター パネルが含まれています。フィルター パネルで、選択する値のチェック ボックスをクリックします。 フィルター パネルに複数のリスト ボックスが含まれている場合は、リスト ボックスをクリックして展開してから選択します。

テーブルのカスタマイズ

テーブルのビジュアライゼーションでは、ルックアンドフィールや表示される列をカスタマイズできます。テーブルは、次のオプションを使用してカスタマイズできます。

• 列の外側の境界線をクリックしてドラッグすると、列の幅を調整できます

• 列ヘッダーをクリックすると、次を実行できます。

  • 列の並び順を調整する

  • 列内の値を検索する

  • 選択を適用

データのリロード

最新のトレーニング データで分析を更新するには、 [データをリロード] をクリックします。分析を開いた後に、自分または他のユーザーがトレーニングの追加バージョンを実行する場合、これらの新しいバージョンを視覚化するにはデータをリロードする必要があります。

データをカタログにエクスポートする

モデル比較分析で使用したデータをカタログにエクスポートできます。データは Qlik Cloud Analytics 内のスペースにエクスポートされます。エクスポートされたデータを使用して、カスタム分析用の独自の Qlik Sense アプリを作成できます。

詳細については、「モデル トレーニング データのエクスポート」を参照してください。

特定のメトリクスによるモデルのランク付け

モデル比較シートには、指定されたメトリクス全体でモデルが互いにどのように比較されるかを視覚化するインタラクティブなチャートが含まれています。各チャートの下のフィルター パネルを使用して、さまざまなメトリクスを視覚化できます。このカスタマイズを使用して、予測ユース ケースにとって最も重要なメトリクスを表示します。

モデルのスコアとハイパーパラメーター値の比較

[詳細] シートには、モデルのスコアとハイパーパラメーターが表形式で表示されます。シートの左側にあるフィルター パネルを使用して、必要に応じてモデルやメトリクスを追加および削除します。

ホールドアウト スコアとトレーニング スコアの比較

[詳細] シートには、自動ホールドアウト データ (トレーニング後のモデルのパフォーマンスを検証するために使用されるデータ) に基づくメトリクスが表示されます。ホールドアウト スコアと比較するために、トレーニング データ メトリクスを [モデル メトリクス] テーブルに追加することもできます。 多くの場合、これらのスコアは類似していますが、大幅に異なる場合は、データ漏洩やオーバーフィットの問題が発生している可能性があります。

次の手順を実行します。

1. [比較] タブで、 [詳細] シートを開きます。

2. シート左側の [表示する列] セクションで、 [メトリクス] フィルター パネルを展開します。

3. 必要に応じてチェックボックスを選択または選択解除して、列を変更します。トレーニング データ メトリクスは列として追加できます。

列は [モデル メトリクス] テーブルに追加されます。