审查和优化模型
第一个版本的模型训练完成后，分析生成的模型度量并配置新版本的实验，直到达到所需的结果。
运行实验版本时，您将进入模型选项卡，在那里您可以开始分析生成的模型指标。您可以通过返回数据选项卡来访问模式视图和数据视图。可以在比较和分析选项卡中执行更精细的分析。
当所有指标都填充到模型指标表中，并且表现最佳的模型旁边会出现奖杯 
图标时，您就会知道第一个版本的训练已经完成。
通过 v1 分析模型
切换回模型选项卡。在模型指标表中，表现最佳模型用奖杯 图标评分。这意味着这是基于 F1 分数的表现最佳的模型。
显示表现最佳的 v1 模型的模型度量表
切换回模型选项卡。在模型指标表中，表现最佳模型用奖杯 图标评分。这意味着这是基于 F1 分数的表现最佳的模型。
通过单击 F1 列标题，按性能从高到低对模型进行排序。您可以选择排除性能较低的算法，或者只关注最好的算法，以便在下一次训练迭代中更快获得结果。我们将在后面的部分中配置 v3 时解决这个问题。
识别数据泄露
请查看页面右侧的模型见解图表。这些图表显示了每个特性的相对重要性以及模型性能。
从 排列重要性图表以及实验配置窗格中的特性列表中，我们可以看到模型的第一次迭代非常依赖 DaysSinceLastService 特性，所有其他特性与之相比几乎没有任何意义。
模型选项卡中的排列重要性图表，显示数据泄漏
这种差异，以及模型极高的 F1 表现得分，应该被视为有问题的迹象。在这种情况下，在数据收集过程中，没有定义逻辑来停止计算自客户上次取消订阅后的天数。因此，该模型学会了将自上次服务工单（对于多年前取消的客户存在）以来的大量天数与 Churned 字段中的 yes 值相关联。
这是数据泄露的一个例子，因为在真实世界场景中，模型只有在做出预测之前才能访问信息，并且该字段中包含的天数是在该测量点之后收集的。这个问题被称为目标泄露，这是一种数据泄露形式。有关数据泄露的更多信息，请参阅数据泄露。
我们需要从实验配置中删除“泄露”特性 DaysSinceLastService，因为它会扭曲生成的模型。注意，在真实的用例中，在创建模型之前，需要对数据质量和逻辑进行彻底的调查，以确保生成的模型得到正确的训练。
我们将在下一部分配置 v2 时解决这个问题。
配置并运行版本 2
我们来配置一个新版本来解决数据泄露问题。
执行以下操作：
单击视图配置以展开实验配置面板。
单击新版本。
在面板的 特性下，清除复选 DaysSinceLastService 框。
单击运行 v2。
删除 v2 的 DaysSinceLastService
通过 v2 分析模型
第二个版本的实验运行完成后，单击模型指标表中性能最高的 v2 模型旁边的复选框（标有奖杯 图标）。这将使用该模型的度量刷新页面。
比较训练和保持指标
您可以查看其他指标，并将交叉验证训练中的指标与拒绝指标进行比较。
执行以下操作：
在实验中，切换到比较选项卡。
随即打开嵌入式分析。您可以使用交互式界面更深入地研究您的比较模型分析，并发现新的见解。
在分析右侧的工作表面板中，切换到 Details 工作表。
查看 cModel Metrics 表格。它会显示模型评分指标，如 F1，以及其他信息。
训练的版本 1 受到目标泄露的影响，所以让我们只关注 v2。使用工作表右侧的 Version 筛选器窗格选择值 1。
在Columns to show部分中，使用筛选器窗格在表中添加和删除列。
在下拉列表框中，添加其他指标。每个指标的训练分数显示为以 Train 结尾的值。向表格添加一些训练指标。
现在，您可以看到交叉验证训练中的 F1 指标，并将其与保持度量进行比较。
添加和查看训练分数，以便与保持分数进行比较
识别重要性较低的特性
接下来，我们应该检查是否有任何排列重要性较低的特性。应删除对模型几乎没有影响的特性，以提高预测精度。
执行以下操作：
在实验中，切换回模型选项卡。
看看排列重要性图表。与其他特性相比，底部四个特性 StartMonth、DeviceType、CustomerTenure 和 Territory 对我们的模型的影响要小得多。它们对于这个用例没有什么价值，可以看作是统计噪声。
在 v3 中，我们可以删除这些特性，看看这样是否会提高模型分数。
已选择表现最佳的 v2 模型的模型选项卡。排列重要性图表显示，有些特性对模型几乎没有影响。
确定表现不佳的算法
我们还可以查看模型指标表，看看是否可以从 v3 训练中删除任何算法。在优化模型时，您可以删除表现不佳的算法，以便在后续迭代中提升训练运行速度。
在实验中，切换回模型选项卡。
在模型指标表中，使用版本筛选器仅显示 v2 中的模型。
查看每种算法的 F1 分数。如果某些算法创建的模型得分明显低于其他算法，我们可以从下一个版本中删除它们。
配置并运行版本 3
执行以下操作：
单击视图配置以展开实验配置面板。
单击新版本。
在面板的 特性下，清除 StartMonth、DeviceType、CustomerTenure 和 Territory 的复选框。
也可以展开算法并清除高斯朴素贝叶斯和逻辑回归的复选框。
单击运行 v3。
通过 v3 分析模型
运行 v3 后，您可以从模型指标表中清除版本筛选器。从 v3 中选择表现最佳的模型。
让我们快速比较一下所有版本的模型。
第一个版本的训练获得了最高的分数，但这些指标是高度夸大的，并且是由数据泄露问题导致的不现实的性能预测指标。在 v3 中，表现最佳的模型的 F1 得分比表现最佳的 v2 模型的 F1 分数增加。
模型指标表显示了所有三个版本中模型的已排序 F1 分数。删除低重要性特性后，v3 中的 F1 分数有所提高。
如前所述，您可以切换到比较选项卡，对模型分数进行更深入的比较。
专注于特定模型
在模型分析的任何时候，您都可以对单个模型进行精细分析。通过互动 Qlik Sense 体验探索预测准确性、特性重要性和特性分布。
执行以下操作：
选择表现最佳的 v3 模型后，单击分析选项卡。
随即打开嵌入式分析。
使用 Model Overview 工作表，您可以分析模型的预测精度。选择项的作用增强了分析能力。单击特性或预测值进行选择。嵌入式分析中的数据会进行调整以筛选数据。您可以在特定的特性值和范围上向下钻取，以查看特性的影响和预测精度是如何变化的。
切换到其他工作表，您可以查看预测准确度、特性分布和影响分布 (SHAP) 的可视化。此分析内容可以帮助您：
发现影响数据趋势的关键驱动因素。
确定特定特性和队列如何影响预测值和预测准确度。
确定数据中的异常值。
ML 实验中的分析选项卡
后续步骤
在真实场景中，在部署模型之前，根据需要重复这些优化步骤多次非常重要，以确保您拥有适合特定用例的最佳模型。
在本教程中，转到关于部署模型的下一节。