跳到主要内容 跳到补充内容

审查和优化模型

在模型训练的第一个版本完成后,分析得到的模型指标和推荐的模型。如果需要进一步修改以优化模型,您可以使用手动模型优化运行其他版本。

运行实验版本时,您将进入模型选项卡,在那里您可以开始分析生成的模型指标。您可以通过返回数据选项卡来访问模式视图数据视图。可以在比较分析选项卡中执行更精细的分析。

当所有指标都填充到模型指标表中,并且表现最佳的模型旁边会出现奖杯 奖杯 图标时,您就会知道第一个版本的训练已经完成。

信息注释Qlik Predict 正在不断改进其模型训练过程。因此,当您完成这些练习时,您可能会注意到本页图片中显示的模型指标和其他详细信息与您的不完全相同。

分析模型指标

切换回模型选项卡。在模型指标部分,根据常见的质量要求突出显示了推荐模型。已自动选择最佳模型 奖杯 进行分析。

实验中训练的模型提供了三条建议。一个模型可以在多个推荐中表示。建议如下:

  • 奖杯 最佳模型:在准确度指标和预测速度之间取得最佳平衡的模型。

  • 目标 最准确:该模型在平衡和原始准确度指标上得分最高。

  • 闪电 最快的模型:该模型除了具有较强的准确度相关指标外,还具有最快的预测速度。

重要的是要选择最适合您的使用情况的模型。在大多数情况下,最佳模型是最有利的选择。但是,您的预测用例可能需要特定的预测速度或准确度指标规范。

有关如何确定最优模型类型的深入概览,请参阅选择您的最佳模型

显示推荐模型和模型指标的模型指标

显示推荐模型和关键模型指标的模型指标表

您可以使用建议上方的下拉筛选器来缩小关注范围。每次更改筛选条件时,顶部的模型类型都会自动重新计算。

使用表格上方的显示指标选择器在核心指标之间切换。您可以根据名称和所分析的选定指标对模型进行排序。

表中标记了过度拟合的模型的警告 警告。这些模型不适合部署。过度拟合的原因可能包括训练算法引入的模型复杂性,以及训练数据集的问题。有关更多信息,请参阅过度拟合

分析模型训练摘要

我们现在可以专注于界面右侧的模型训练摘要。此摘要可让您探索如何优化模型和输入训练数据以获得最佳性能。模型训练摘要概述了智能模型优化提供的增强功能。

从下图的摘要中,我们可以看到:

  • 训练数据中的特性在训练过程中被删除,没有被纳入模型。

  • 该模型的采样率为 100%。

目标泄漏导致特性被删除

由于目标泄漏,特性 DaysSinceLastService 在训练期间被删除。

在该特性列中,在数据收集过程中,没有定义逻辑来停止计算自客户上次取消订阅后的天数。因此,该模型可能已学会了将自上次服务工单(对于多年前取消的客户存在)以来的大量天数与 Churned 字段中的 yes 值相关联。

需要从训练中删除此特性,因为它会导致模型在新数据上的性能非常差。

根本问题被称为目标泄露,这是一种数据泄露形式。有关数据泄露的更多信息,请参阅数据泄露

由于高相互关系特性被删除

我们可以看到,PriorPeriodUsage-RoundedAdditionalFeatureSpend 在训练中被删除。

在这种情况下,至少有一个特性列 PriorPeriodUsage-Rounded,它直接来自数据集中的另一列。通过 AdditionalFeatureSpend 发现了其他相互关系问题。

去除导致相互关系问题的特性对于训练高质量的模型非常重要。

有关相互关系的更多信息,请参阅关联

由于重要性低特性被删除

由于排列重要性较低,一些特征也被删除。经过初步分析,这些特性被确定为对目标结果的影响非常小。这些特性可以被视为统计噪声,并已被删除以提高模型质量。

有关排列重要性的更多信息,请参阅了解排列重要性

模型训练总结

ML 实验中的模型训练总结,展示了如何优化模型以获得最佳性能。

分析模型选项卡中的其他可视化

模型选项卡中还提供了其他可视化功能,用于进行更多高层次分析。在模型指标表中选择不同的模型,以探索特性级性能和其他图表,从而深入了解模型质量。

ML 实验中的模型选项卡显示了可用于分析的其他可视化

ML 实验中的“模型”选项卡显示了可用于模型分析的其他可视化

比较训练和保持指标

您可以查看其他指标,并将交叉验证训练中的指标与拒绝指标进行比较。

  1. 在实验中,切换到比较选项卡。

    随即打开嵌入式分析。您可以使用交互式界面更深入地研究您的比较模型分析,并发现新的见解。

  2. 在分析左右侧的工作表面板中,切换到详情工作表。

  3. 查看模型指标可视化。它会显示模型评分指标,如 F1,以及其他信息。

  4. 要显示的列部分中,使用筛选器窗格在表中添加和删除列。

  5. 在下拉列表框中,添加其他指标。训练分数可添加到表格中。您可以根据需要添加它们以进行分析。

现在,您可以看到交叉验证训练中的 F1 指标,并将其与保持度量进行比较。

添加和查看训练分数,以便与保持分数进行比较

在实验中使用“比较”选项卡查看训练分数和保持分数

专注于特定模型

在模型分析的任何时候,您都可以对单个模型进行精细分析。通过互动体验探索预测准确性、特性重要性和特性分布。

  1. 选择任何模型,点击分析选项卡。

    随即打开嵌入式分析。

  2. 使用模型概览工作表,您可以分析模型的预测精度。选择项的作用增强了分析能力。单击特性或预测值进行选择。嵌入式分析中的数据会进行调整以筛选数据。您可以在特定的特性值和范围上向下钻取,以查看特性的影响和预测精度是如何变化的。

  3. 切换到其他工作表,您可以查看预测准确度、特性分布和影响分布 (SHAP) 的可视化。此分析内容可以帮助您:

    • 发现影响数据趋势的关键驱动因素。

    • 确定特定特性和队列如何影响预测值和预测准确度。

    • 确定数据中的异常值。

ML 实验中的分析选项卡

使用“分析”选项卡通过选择项的作用增强分析

后续步骤

在运行了一个具有智能模型优化的实验版本后,您可以根据需要运行手动版本来优化您的模型。要快速创建新的手动版本,您可以切换回模型选项卡,然后在模型培训摘要中单击新建手动版本

在真实场景中,在部署模型之前,根据需要重复任何优化步骤多次非常重要,以确保您拥有适合特定用例的最佳模型。

有关优化模型的更多信息,请参阅优化模型

在本教程中,转到关于部署模型的下一节。

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们!