跳到主要内容 跳到补充内容

智能模型优化

智能模型优化可以自动优化您在实验中训练的模型。通过智能模型优化,可以为您处理迭代特性选择和应用高级转换的过程。有了一个准备充分的训练数据集,其中包括所有相关特性,您就可能通过智能模型优化在单个版本中训练可部署的模型。

智能模型优化是什么?

智能模型优化自动化了模型优化过程的许多方面。通过智能模型优化,您可以快速训练高质量的模型,而无需手动优化特性选择或调整输入数据。

使用智能模型优化

默认情况下,新 ML 实验中的智能模型优化处于打开状态。您可以为运行的每个版本的实验打开或关闭它。

在打开智能优化的情况下运行实验版本后,可以在模型训练摘要中查看优化结果。此摘要显示在模型见解下的模型标签中。将光标悬停在带下划线的术语上,可以查看带有详细描述的工具提示。

在实验版本中训练的每个模型的模型训练摘要均不同。

模型的模型训练摘要图表,显示在模型标签中

用智能优化训练的模型的训练摘要图表。

智能模型优化的工作原理

使用智能模型优化:

  • 与手动优化相比,训练的模型更多。特性选择在模型级别处理。这意味着,与手动优化不同,一个版本中的每个模型都可以有不同的特性选择。

  • 除了默认应用于所有模型的自动预处理外,还通过几种高级转换处理训练数据。这些转换有助于确保您的数据采用机器学习算法的最佳格式。

  • 为了保证质量,仍会训练基线模型(在您为版本配置的整个特性集上训练的模型)。这有助于检查智能优化是否确实能提高模型分数。

  • 对于较大的训练数据集,模型以各种采样率进行训练。这有助于加快训练过程。有关更多信息,请参阅训练数据采样

训练数据采样

当您使用大量数据训练模型时,AutoML 使用采样以原始数据集的各种子集(采样率)训练模型。采样用于加快训练过程。在训练开始时,模型以较小的采样率进行训练。随着训练的继续,模型逐渐用更大的数据部分进行训练。最终,模型用整个数据集进行训练(采样率为 100%)。

在分析模型训练数据的过程中,用不到 100% 的训练数据集训练的模型在某些视图中是隐藏的。

智能模型优化过程中应用的处理

模型训练摘要显示了智能模型优化如何处理训练数据。以下部分包含有关您在日志中看到的每个项目的更多详细信息。

特征选择

智能模型优化通过删除可能降低预测性能的特性来帮助您改进模型。在智能模型优化过程中,由于以下任何原因,一个特性可能会被删除:

  • 目标泄露:该特性可能受到目标泄露的影响。受目标泄露影响的特性包括您试图预测的目标列的信息。例如,该特性直接衍生自目标,或包含在预测时未知的信息。导致目标泄露的特性可能会让您错误地认为模型性能可靠。在现实世界的预测中,它们会导致模型表现非常糟糕。

  • 低排列重要性:该特性对模型预测没有太大影响。删除这些特性可以通过减少统计噪声来提高模型性能。

  • 高度相关:该特性与实验中的一个或多个其他特性高度相关。相关性太高的特性不适合在训练模型中使用。

在实验中的数据标签中,您可以查看每个模型的已删除特性的见解。见解还涉及智能模型优化过程之外的特性。有关每种见解的更多信息,请参阅解释数据集见解

特性转变

智能模型优化在特性级别应用了许多技术转换。这些转换处理您的训练数据,以便更有效地使用它来创建可靠的机器学习模型。根据需要自动应用特性转换。在模型训练摘要中,您将在应用特性变换时收到通知,以及哪些特性受到影响。

幂变换

特性数据通常自然包含具有一定程度不对称性和偏离正态分布的分布。在训练模型之前,如果数据看起来过于偏斜,对数据进行一些处理以归一化值分布可能会有用。这种处理有助于减少偏差和识别异常值。

通过智能模型优化,使用功率变换将超过特定偏斜阈值的数值特性转换为更正态(或类正态)的分布。具体而言,使用了 Yeo-Johnson Power Transformation。

数字特性分级

某些数字特性可能包含机器学习算法难以处理的模式和分布。通过智能模型优化,这一部分是通过根据特定数值特性的值范围将其数据组织到不同的箱中来解决的。进行分级,以便将特性转换为分类特性。

在分级完成后,新的分类特性接受 one-hot encoded 处理并用于训练。有关 one-hot encoded 的更多信息,请参阅 分类编码

异常检测和处理

异常是指出现在您合理预期范围之外的数据值。训练数据中出现一些异常值并不罕见。一些异常甚至可能是反映现实世界可能性的一种方式。在其他情况下,异常可能会干扰训练可靠模型的能力。

通过智能模型优化,AutoML 可以识别潜在的异常。然后,使用算法驱动的加权系统处理出现异常值的行。如果一个值高度疑似异常值,加权系统会降低训练数据中相应行对模型的影响。

在您的模型经过训练后,您会收到通知,告知原始训练数据集中作为异常数据处理的行的百分比。

有关更多信息,请参阅异常检测和处理

关闭智能优化

关闭智能优化后,您将手动优化训练。如果您需要对训练过程进行更多控制,手动优化可能会有所帮助。特别是您可能希望运行一个具有智能模型优化的版本,然后如果需要进行一小部分手动调整,则将该设置关闭。

  1. 在实验中,单击 模式 视图配置

    实验配置面板打开。

  2. 如果您已经运行了至少一个版本的实验,请单击新建版本

  3. 在面板中,展开模型优化

  4. 智能切换到手动

注意事项

使用智能模型优化时,请考虑以下方面:

  • 使用智能模型优化并不能保证您的训练会产生高质量的模型。数据集准备和实验配置阶段对于生成可靠的模型也至关重要。如果您没有一个准备充分的数据集,或者您的配置缺少关键特性,那么您的模型就不能保证在生产用例中表现良好。有关这些阶段的更多信息,请参阅:

  • 当为某个版本启用智能模型优化时,此版本中的每个模型都将具有一组单独的包含的特性。另一方面,经过手动优化训练的版本的所有模型都将具有相同的包含的特性集。

  • 智能模型优化仅使用您在版本配置中包含的特性和算法。

超参数优化

启用智能模型优化时,超参数优化不可用。要激活超参数优化,您需要将模型优化设置为手动

有关更多信息,请参阅超参数优化

示例

有关演示智能模型优化好处的示例,请参阅示例 - 使用自动机器学习训练模型

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们如何改进!