# 詳細なモデル分析の実行 実験の [分析] タブでは、単独のモデルに焦点を当て、その予測パフォーマンスを詳しく分析できます。詳細分析は組み込み型アナリティクスを使って行われます。 トレーニングが終了したら、モデルを選択します。次に、 [分析] タブを開くと、モデルの予測精度、データの傾向に影響を与えているもの、その他の情報に関する詳細情報が表示されます。[分析] タブに表示されるデータは、ホールドアウト データに対してモデルが生成した予測に基づいています。 ツール バーのドロップダウン メニューを使用して、モデルを簡単に切り替えることができます。ドロップダウン メニューは、 [モデル] タブで適用したフィルターに応じて変化するため、展開の候補となる主要なモデルに焦点を絞ることができます。 ML 実験の [分析] タブ ML 実験の [分析] タブ ML 実験の [分析分析] タブ ![予測精度と特徴量重要度が表示される ML 実験の「分析」タブ。](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_experiment_model-details-overview.png) 詳細なモデル分析の主な利点は次のとおりです。 * 必要に応じて、ビジュアライゼーションデータを調整およびカスタマイズできるインタラクティブ インターフェイス。 * ホールドアウト データに基づいて行われた予測を、特徴量重要度の統計とともに詳しく確認できる。 ## 分析ワークフロー モデル トレーニングの結果を完全に理解するには、クイック分析を完了してから、 [比較] タブと [分析] タブの追加オプションに進むことをお勧めします。クイック分析では、インテリジェント最適化プロセス中に削除された特徴量を示す [モデル トレーニングの概要] が提供され、また、すぐに使用できるように自動生成されたビジュアライゼーションも多数提供されます。[比較] タブと [分析] タブには [モデル トレーニングの概要] は表示されませんが、モデルの品質をよりよく理解するために、モデルのメトリクスをより深く掘り下げることができます。 その他の分析オプションの詳細については、次を参照してください。 * [モデルのクイック分析の実行](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/analyze-models-quick.htm) * [モデルの比較](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/analyze-models-compare.htm) ## コンセプトの理解 モデルの評価を始める前に、モデル分析の背後にある概念の基本を理解しておくと役立ちます。詳細については、「[モデル レビューの概念を理解する](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/model-review-concepts.htm)」を参照してください。 ## 最適化の設定が分析に与える影響 分類および回帰実験の場合、インテリジェント モデル最適化を使用したかどうかに応じて、分析エクスペリエンスが若干異なる場合があります。新しい分類および回帰実験では、インテリジェント モデル最適化が既定でオンになっています。 ### インテリジェント最適化でトレーニングされたモデルの分析 既定では、新しい分類および回帰実験はインテリジェント モデル最適化を使用して実行されます。 情報メモインテリジェント モデル最適化は時系列実験には適用できません。 インテリジェント モデル最適化により、より堅牢なトレーニング プロセスが提供され、ほぼ改良を加えることなく、すぐに展開できる理想的なモデルが作成されます。これらのモデルを本番環境のユースケースに展開した場合のパフォーマンスは、関連する特徴量とデータを含む高品質のデータセットを使用してモデルをトレーニングできるかどうかに依存します。 使用中のバージョンがインテリジェント モデル最適化を使用してトレーニングされたものである場合は、次の点を考慮してください。 * バージョン内の各モデルは、アルゴリズムがデータをどのように分析したかに応じて、異なる特徴量の選択を持つことができます。 * 特定の分析に進む前に、 [モデル] タブから、モデルの [モデル トレーニングの概要] をお読みください。[モデル トレーニングの概要] には、Qlik Predict が特徴量選択を反復し、高度な変換を適用することでモデルを自動的に最適化した方法の概要が表示されます。 インテリジェント モデル最適化の詳細については、「[インテリジェント モデル最適化](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/intelligent-model-optimization.htm)」を参照してください。 ### インテリジェント最適化なしでトレーニングされたモデルの分析 別の方法として、トレーニングのバージョンに対してインテリジェント モデル最適化をオフにしている場合があります。トレーニング プロセスをより細かく制御する必要がある場合は、モデルを手動で最適化すると便利です。 手動最適化を使用した場合、バージョン内のすべてのモデルで同じ特徴量の選択が行われるため、 [モデル トレーニングの概要] は必要ありません。 ## 構成の検査 前処理中に、トレーニングで使用されない特徴量が除外された可能性があります。これは通常、トレーニングが進むにつれて、バージョンを実行する前よりもデータに関する情報が増えるために発生します。 モデル トレーニングの概要 (インテリジェント最適化でのみ表示) を確認した後、その他の変更を確認する必要がある場合は、実験構成を詳しく調べることができます。 次の手順を実行します。 1. 実験で、 [トレーニング データ] タブに切り替えます。 2. the スキーマ ビュー icon になっていることを確認してください。 3. ツール バーのドロップダウン メニューを使用して、バージョンからモデルを選択します。 4. モデルのスキーマを分析します。特定の特徴量がドロップされたか、別の特徴量タイプに変換されたかどうかを確認するには、 [インサイト] 列と [特徴量タイプ] 列に注目してください。 たとえば、最初は [利用可能なフリー テキスト] としてマークされていた特徴量が、バージョンを実行した後に除外されている可能性があります。 各インサイトの意味の詳細については、「[データセットのインサイトの解釈](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/dataset-insights.htm#Explanations)」を参照してください。 既定のインテリジェント最適化オプションを使用してバージョンを実行した場合、自動調整により、バージョン内の各モデルで異なる特徴量の選択が行われる可能性があることに注意してください。バージョンがインテリジェント最適化なしで実行された場合、特徴量の選択はバージョン内のすべてのモデルに対して同じになります。インテリジェント モデル最適化の詳細については、「[インテリジェント モデル最適化](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/intelligent-model-optimization.htm)」を参照してください。 この構成で見つかった内容に基づいて、特徴量データを改善するためにデータセットの準備段階に戻る必要がある場合があります。 ## 詳細な分析を開始する 特定のモデルの詳細な分析を開始するには、次のような方法があります。 * [データ] または [モデル] タブでモデルを選択し、モデルの横にある the 3 つのドットのメニュー icon をクリックして、the 分析 icon [] をクリックします。 * モデルを選択したら、 [分析] タブをクリックします。 * モデルの詳細な分析がすでに表示されている場合は、ツール バーのドロップダウン メニューを使用して別のモデルを選択します。[モデル] タブで適用したフィルターに対応するモデルが表示されます。最上位モデルの推奨事項は、the トロフィー icon (総合的にベスト)、the ターゲット icon (最も正確 the 稲妻 icon (最速) のアイコンで強調表示されます。必要に応じて、 [モデル] タブでモデルをフィルターして、このドロップダウン メニューに表示される詳細なモデル リストを絞り込むことができます。 分析コンテンツは、実験のターゲットによって定義されたモデル タイプに応じて異なります。モデル タイプに応じて使用できるメトリクスは異なります。 情報メモ サンプリング比率が 100% 未満でトレーニングされたモデルは、 [分析] タブでは開くことができません。 ## 組み込み型アナリティクスのナビゲート インタラクティブ インターフェイスを使用して、組み込み型アナリティクスを備えたモデルを分析します。 ### シート間の切り替え [シート] パネルを使用すると、分析内のシートを切り替えることができます。各シートには特定の焦点があります。パネルは、必要に応じて展開や折りたたみができます。 ### 選択の実行 選択を使用してデータを絞り込みます。特徴量を選択して、特定の値や範囲にドリルダウンできます。これにより、必要に応じてさらに詳しく調べることができます。場合によっては、表示するビジュアライゼーションを 1 つ以上選択する必要があります。ビジュアライゼーションおよびフィルター パネルでデータ値をクリックして選択します。 選択内容は次のように操作できます。 * コンテンツをクリックして値を選択し、範囲を定義して、描画します。 * チャート内を検索して値を選択します。 * 組み込み型分析の上部にあるツール バーで選択した項目をクリックします。これにより、既存の選択内容の検索、選択内容のロックまたはロック解除、さらに変更ができます。 * 組み込み型分析の上部にあるツール バーで、the 削除 icon をクリックして選択を削除します。the 選択をクリアする icon アイコンをクリックしてすべての選択をクリアします。 * the 選択内で戻す icon と the 選択内で進む icon をクリックして、選択内容を前後に移動します。 分析には、データを簡単に絞り込むためのフィルター パネルが含まれています。フィルター パネルで、選択する値のチェック ボックスをクリックします。 フィルター パネルに複数のリスト ボックスが含まれている場合は、リスト ボックスをクリックして展開してから選択します。 ### データをカタログにエクスポートする 詳細分析で使用したデータをカタログにエクスポートできます。データは Qlik Cloud Analytics 内のスペースにエクスポートされます。エクスポートされたデータを使用して、カスタム分析用の独自の Qlik Sense アプリケーションを作成できます。 詳細については、「[モデル トレーニング データのエクスポート](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/export-model-data.htm)」を参照してください。 ## 予測精度の分析 予測精度をどのように解釈するかは、トレーニング データセットの構造と機械学習のユース ケースに応じて異なります。さらに、これらのビジュアライゼーションの解釈はモデルの種類に応じて異なります。各モデルの種類の詳細については、以下のセクションで説明します。 [モデルの概要] シートの [予測] セクションには、モデルが正確に予測した数と、誤って予測した数の集計された概要が表示されます。 [予測と特徴量の分布] シートを使用して、特定の特徴量に焦点を当て、予測の不正確さの性質を分析します。シートの左側にあるフィルター パネルで 1 つの特徴量を選択します。このシートでは、すべてのモデルの種類について、予測の不正確さと実際の値の分布が並べて表示されるため、データの全体像を把握するのに役立ちます。 ### 二項分類モデル #### モデル全体の分析 [モデルの概要] シートの [予測] セクションには、混同行列で定義された生データが表示されます。これには、真陽性と偽陽性、および真陰性と偽陰性が含まれます。これらの値は静的な合計として表示されるため、選択には反応しません。これらの値の意味の詳細については、「[混同行列](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-binary-classification.htm#Confusio)」を参照してください。 二項分類モデルの [分析] タブに表示される予測パフォーマンスの集計 二項分類モデルの [分析] タブに表示される予測パフォーマンスの集計 二項分類モデルの [分析分析] タブに表示される予測パフォーマンスの集計 ![混同行列の詳細および正しい予測と誤った予測を示す予測概要セクション](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_gen_model-details-binary-aggregate-predictions.png) #### データのサブセットの分析 [予測と特徴量の分布] シートの [誤予測] チャートには、各特徴量値または特徴量の範囲にバーが表示され、バーの高さは、モデルが実行した誤った予測の数に対応します。バーの各色は、それぞれの実際の目標値に対応しています。1 つの特徴量と、その他の任意の項目の値を選択して、さまざまなデータ サブセットの予測精度がどのように変化するかを確認します。 選択した特徴量の値の分布とともに予測の不正確さを分析します。この画像は、二項分類モデルの分析ビューを示しています。 選択した特徴量の値の分布とともに予測の不正確さを分析します。この画像は、二項分類モデルの分析ビューを示しています。 選択した特徴量の値の分布とともに予測の不正確さを分析します。この画像は、二項分類モデルの分析ビューを示しています。 ![1 つの特徴量が選択され、次の 2 つのチャートが表示されたシート。1 つは特徴量全体の予測の不正確さを表すチャート、もう 1 つは実際の特徴量の分布を表すチャート](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_exp-model-details-binary-detailed-predictions.png) ### 多項分類モデル #### モデル全体の分析 [モデルの概要] シートの [予測] セクションには、実際の目標値ごとに棒グラフが表示されます。バーの各色の高さは、特定のクラスがモデルによって予測される回数に対応します。このチャートに加えて、 [予測] セクションには、正しい予測と誤った予測の内訳も表示されます。 多項分類モデルの [分析] タブに表示される予測パフォーマンスの集計 多項分類モデルの [分析] タブに表示される予測パフォーマンスの集計 多項分類モデルの [分析分析] タブに表示される予測パフォーマンスの集計 ![予測値と実際の値、正しい予測と誤った予測を示す予測概要セクション](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_gen_model-details-multiclass-aggregate-predictions.png) #### データのサブセットの分析 [予測と特徴量の分布] シートの [誤予測] チャートには、各値または特徴量の範囲にバーが表示され、バーの高さは、モデルが実行した誤った予測の数に対応します。バーの各色は、それぞれの実際の目標値に対応しています。 選択した特徴量の値の分布とともに予測の不正確さを分析します。この画像は、多項分類モデルの分析ビューを示しています。 選択した特徴量の値の分布とともに予測の不正確さを分析します。この画像は、多項分類モデルの分析ビューを示しています。 選択した特徴量の値の分布とともに予測の不正確さを分析します。この画像は、多項分類モデルの分析ビューを示しています。 ![1 つの特徴量が選択され、次の 2 つのチャートが表示されたシート。1 つは特徴量全体の予測の不正確さを表すチャート、もう 1 つは実際の特徴量の分布を表すチャート](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_exp-model-details-multiclass-detailed-predictions.png) ### 回帰モデル 回帰モデルでは、モデル レベルと特徴量レベルの両方で次の情報を表示できます。 * ターゲットの平均予測値 * 実際のターゲットの値 * 90 パーセンタイルおよび 10 パーセンタイルの予測範囲。これらの線は、モデルが値を予測すると予想される範囲を示しています。90 パーセンタイルの線は、常により大きな値を持つ線になります。 * 平均絶対誤差 ([MAE](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-regression.htm#MAE)) モデル全体と特徴量固有のビジュアライゼーションの両方について、特徴量の実際の値の分布とともにメトリクスを分析します。 選択した特徴量の値の分布とともに予測の不正確さを分析します。この画像は、回帰モデルの分析ビューを示しています。 選択した特徴量の値の分布とともに予測の不正確さを分析します。この画像は、回帰モデルの分析ビューを示しています。 選択した特徴量の値の分布とともに予測の不正確さを分析します。この画像は、回帰モデルの分析ビューを示しています。 ![1 つの特徴量が選択され、次の 2 つのチャートが表示されたシート。1 つは特徴量全体の予測の不正確さを表すチャート、もう 1 つは実際の特徴量の分布を表すチャート](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_exp-model-details-regression-detailed-predictions.png) ### 時系列モデル 時系列モデルでは、次を分析できます。 * 時系列予測のための主要なモデル メトリクス * モデル構成の詳細 * 異なる時間枠にわたる予測値の比較（実際と予測の両方） * 予測ウィンドウ内の予測誤差 モデル メトリクスはシート上部に表示されます。各メトリクスの詳細については、「[時系列モデルのスコアリング](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/scoring-time-series.htm)」を参照してください。 シートの左側では、実験バージョン、アルゴリズム、特徴量など、モデルに関する重要な詳細を表示できます。 左側のメインの折れ線グラフでは、[適用ウィンドウ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/machine-learning-framework-time-series.htm#ApplyWindow)、実際のデータ、[予測ウィンドウ](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/machine-learning-framework-time-series.htm#ForecastHorizon)全体の予測値を比較できます。グラフの下部では、予測の代替 (早い) 開始日を選択できるため、仮説シナリオを検討し、パターンをより深く理解できます。グループを使用した実験では、モデルの詳細の下にあるグループ フィルター パネルを使用して特定のグループの値を選択し、特定のデータ コホートに分析を集中させます。 右側のメインの折れ線グラフは、予測ウィンドウの予測誤差を示しています。このグラフでは、モデルの平均相対誤差、10 パーセンタイル誤差、90 パーセンタイル誤差を比較できます。 埋め込み分析を使用して時系列モデルを分析します。この特定のモデルは多変量モデルであり、グループからのデータのサブセットを選択して、より詳細な分析を実行できます。 埋め込み分析を使用して時系列モデルを分析します。この特定のモデルは多変量モデルであり、グループからのデータのサブセットを選択して、より詳細な分析を実行できます。 埋め込み分析を使用して時系列モデルを分析します。この特定のモデルは多変量モデルであり、グループからのデータのサブセットを選択して、より詳細な分析を実行できます。 ![時系列予測モデルを詳細に分析するためのシート。](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_exp-model-details-time-series-detailed-predictions.png) ## 特徴量重要度の分析 情報メモ時系列モデルには適用されません。 ### 概要へのアクセス 特徴量重要度を分析することで、各特徴量が他の特徴量と比較して予測にどのような影響を与えているかがわかります。 [モデルの概要] シートの [特徴量の影響] セクションには、SHAP 平均絶対値の集計された概要が表示されます。このチャートは、 [モデル] タブの [SHAP Importance] チャートと同じように見えます。チャートは選択した内容に基づいて更新されます。1 つの特徴量を選択すると、その特定の値や範囲にドリルダウンしてさらに詳細を確認できます。 1 つの特徴量を選択した状態での SHAP 値の集計比較 1 つの特徴量を選択した状態での SHAP 値の集計比較 1 つの特徴量を選択した状態での SHAP 値の集計比較 ![特徴量の特定の値範囲について集計された SHAP 値を比較する特徴重要度分析チャート](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_gen-model-details-shap-overview.png) ### SHAP 分布の分析 [特徴量別の影響] シートを開いて、各特徴量値または範囲の SHAP 値をより包括的に表示することもできます。SHAP 値は絶対値ではなく、方向性を示しています。 この分析は、特定のコホートのパターンの識別や、データ内の外れ値の発見に役立ちます。チャート内の値または範囲を選択してデータをフィルタリングし、より詳細な分析を実行できます。 チャートの外観と種類は、選択した特徴量の種類に応じて異なります。 #### カテゴリ別特徴量 カテゴリ別特徴量はボックス プロットとして視覚化されます。ボックス プロットは、各カテゴリ値の SHAP 値の分布を確認するのに役立ちます。ボックス プロットの構成は次のとおりです。 * SHAP の平均値を表示します。 * 標準 (Tukey) 構成を使用: * 値のボックスは、第 1 四分位数 (下限) と第 3 四分位数 (上限) によって定義されます。 * 中央値はボックス内の水平線です。 * 上下のひげは、1.5 四分位範囲の上限と下限に対応します。 * 外れ値は表示されません。 カテゴリ別特徴量の SHAP 値分布を分析するためのボックス プロット カテゴリ別特徴量の SHAP 値分布を分析するためのボックス プロット カテゴリ別特徴量の SHAP 値分布を分析するためのボックス プロット ![SHAP 値分布の分析が可能な、選択されたカテゴリ別特徴量のボックス プロット チャート](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_exp-model-details-shap-dist-categorical.png) #### 数値の特徴量 数値の特徴量の場合、SHAP 値は散布図として視覚化されます。散布図の構成は次のとおりです。 * 選択したサンプルの SHAP 値が表示されます。 * 散布図のルック アンド フィールは、表示するデータ ポイントの数に応じて異なります。データ ポイントの数が少ないチャートの場合は、個別のバブルが表示されます。データ ポイントの数が多いチャートの場合、バブルはブロックにまとめられ、各ブロック内のデータ ポイントの数が色で示されます。 散布図では、特定の値または範囲を選択して詳しく調べることができます。 数値の特徴量の SHAP 値分布を分析するための散布図 数値の特徴量の SHAP 値分布を分析するための散布図 数値の特徴量の SHAP 値分布を分析するための散布図 ![SHAP 値分布の分析が可能な、選択された数値の特徴量の散布図のチャート](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Resources/Images/ui_exp-model-details-shap-dist-numeric.png) ## バイアス検出結果の分析 そのバージョンでバイアス検出のためにいずれかの特徴量がアクティブ化されていた場合、 [バイアス] シートを表示することで、含まれている各特徴量について特定のメトリクスの詳細な分析を確認できます。 詳細については、「[バイアス結果の詳細分析](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/bias-detection.htm#Detailed)」を参照してください。 ## 制限事項 以下の文字を含むデータセット列名は、[分析] タブに表示されません。 * [ * ] これらの項目を [分析] タブで表示するには、トレーニングの前に列名からこれらの文字を削除する必要があります。