保留数据和交叉验证

预测分析中最大的挑战之一是了解一个经过训练的模型将如何处理它从未见过的数据。换言之，模型学习真实模式的程度与简单记忆训练数据的程度。保持和交叉验证是有效的技术，可以确保您的模型不仅仅是记忆，而是学习通用模式。

记忆与概括测试模型

问一个模型在现实世界中的表现如何，相当于问这个模型是记忆还是概括。记忆是完美地记住过去发生的事情的能力。虽然一个记忆的模型在最初训练时可能得分很高，但当应用于新数据时，预测精度会显著下降。相反，我们需要一个概括的模型。概括是学习和应用通用模式的能力。通过从训练数据中学习真正的更广泛的模式，广义模型将能够对新数据做出以前从未见过的同样质量的预测。

自动保持

保持是在训练时在模型中“隐藏”的随机选择的数据，然后用于对模型进行评分。通过对未在训练中使用的数据生成准确度度量，该保持模拟了模型将如何对未来预测执行。就好像我们建立了一个模型，部署了它，并根据实际发生的情况监控它的预测，而不必等待以观察这些预测。

交叉验证

交叉验证的实践是获取一个数据集，并将其随机分成若干偶数段，称为折叠。机器学习算法只在一个方面进行训练。交叉验证然后对照在所有其他折叠上训练的模型测试每个折叠。这意味着每一个训练模型都要在一段它以前从未见过的数据上进行测试。重复该过程，在训练期间隐藏一个不同的折叠，然后进行测试，直到所有折叠都作为测试使用了一次，并在每一次迭代期间进行了训练。

交叉验证的结果是一组测试度量，这些度量可以合理预测经过训练的模型能够预测其从未见过的数据的准确程度。

自动保持和交叉验证是如何工作的

AutoML 在模型训练期间使用五重交叉验证来模拟模型性能。然后，对模型进行单独的训练数据保持测试。这将生成评分度量，让您评估和比较不同算法的性能。

1. 在实验训练开始之前，数据集中具有非空目标的所有数据都会被随机打乱。20% 的数据集被提取为保留数据。数据集的剩余 80% 用于训练具有交叉验证的模型。

2. 为了准备交叉验证，数据集被随机分成五个部分。然后对模型进行五次训练，每次“隐藏”不同的五分之一的数据，以测试模型的性能。训练度量是在交叉验证期间生成的，是计算值的平均值。

3. 训练后，将该模型应用于保持数据。因为与交叉验证数据不同，模型在训练期间没有看到保持数据，所以它是验证模型训练性能的理想选择。在最终模型评估期间生成搁置度量。

有关用于分析模型性能的度量的更多信息，请参阅检查模型。