创建布尔值
设想您正在建模一个是/否问题:航班是否延误?不过,您的数据中保存的是每个航班的到达延误分钟数。因此,您需要创建一个布尔列,用来指示该航班是否延误!
本练习是课程的一部分
PySpark 基础
练习说明
- 使用
.withColumn()方法创建列is_late。该列的取值为model_data.arr_delay > 0。 - 将该列转换为整数列,以便在模型中使用,并将其命名为
label(这是 Spark 机器学习流程中响应变量的默认名称)。 - 过滤缺失值(此步骤已为您完成)。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create is_late
model_data = model_data.withColumn("is_late", ____)
# Convert to an integer
model_data = model_data.withColumn("label", ____)
# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")