测试集 vs. 训练集

在清洗数据并准备好建模之后，最重要的步骤之一就是将数据划分为测试集和训练集。从那之后，在您认为模型已经足够好之前，千万不要动测试数据！当您构建模型并提出假设时，可以在训练数据上进行验证，以初步了解模型的效果。

一旦选定您最满意的模型，您就可以看看它在测试集中的新数据上表现如何。这些从未见过的数据会更真实地反映模型在实际场景中进行预测或分类时的性能。

在 Spark 中，务必确保在完成所有转换之后再进行数据划分。这是因为像 StringIndexer 这样的操作，即使给出相同的字符串列表，也不一定会产生相同的索引。

为什么在模型评估中使用测试集很重要？