建立布林值
假設你正在建立一個是非題的模型:航班是否延誤?但你的資料中只有每班航班的實際到達延誤分鐘數。因此,你需要新增一個布林欄位,用來標示該航班是否有延誤!
本練習屬於課程
PySpark 基礎
練習說明
- 使用
.withColumn()方法建立欄位is_late。此欄位等於model_data.arr_delay > 0。 - 將此欄位轉換為整數欄位,方便用於模型,並命名為
label(這是 Spark 機器學習流程中回應變數的預設名稱)。 - 篩除遺漏值(此步驟已為你完成)。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Create is_late
model_data = model_data.withColumn("is_late", ____)
# Convert to an integer
model_data = model_data.withColumn("label", ____)
# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")