训练/测试集划分
要客观评估机器学习模型,您需要在独立的数据集上进行测试。不能用与训练模型相同的数据进行测试:模型在这些数据上当然会(相对)表现良好!
您将把数据拆分为两个部分:
- 训练数据(用于训练模型),以及
- 测试数据(用于测试模型)。
注意: 从现在开始,您将使用航班数据的一个较小子集,以加快练习的运行速度。
本练习是课程的一部分
使用 PySpark 进行机器学习
练习说明
- 将
flights数据按 80:20 的比例随机划分为两个集合。为确保可复现性,请将划分的随机数种子设为 43。 - 检查训练数据是否大约包含原始数据 80% 的记录。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Split into training and testing sets in a 80:20 ratio
flights_train, flights_test = flights.____(____, ____)
# Check that training set has around 80% of records
training_ratio = flights_train.____() / ____.____()
print(training_ratio)