删除列和行

您之前从一个 CSV 文件加载了航班数据。您将要开发一个模型，用来预测某次航班是否会延误。

在本练习中，您需要通过以下方式精简数据：

删除一个不包含有效信息的列；
删除那些没有提供航班是否延误信息的行。

数据以 flights 提供。

注意： 您可以在 IPython Shell 旁的 Slides 面板中复习相应课程的幻灯片，这可能会有帮助。

本练习是课程的一部分

使用 PySpark 进行机器学习

查看课程

练习说明

删除 flight 列。
找出 delay 列中缺失值记录的数量。
删除 delay 列中含有缺失值的记录。
删除任意列存在缺失值的记录，并获取剩余行数。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Remove the 'flight' column
flights_drop_column = flights.____(____)

# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()

# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)

# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())

编辑并运行代码