开始使用免费开始使用

训练/测试集划分

要客观评估机器学习模型,您需要在独立的数据集上进行测试。不能用与训练模型相同的数据进行测试:模型在这些数据上当然会(相对)表现良好!

您将把数据拆分为两个部分:

  • 训练数据(用于训练模型),以及
  • 测试数据(用于测试模型)。

注意: 从现在开始,您将使用航班数据的一个较小子集,以加快练习的运行速度。

本练习是课程的一部分

使用 PySpark 进行机器学习

查看课程

练习说明

  • flights 数据按 80:20 的比例随机划分为两个集合。为确保可复现性,请将划分的随机数种子设为 43。
  • 检查训练数据是否大约包含原始数据 80% 的记录。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Split into training and testing sets in a 80:20 ratio
flights_train, flights_test = flights.____(____, ____)

# Check that training set has around 80% of records
training_ratio = flights_train.____() / ____.____()
print(training_ratio)
编辑并运行代码