欄位操作
美國聯邦航空總署(FAA)將班機抵達時間比預定時間晚 15 分鐘或以上,視為「延誤」。
下一步的航班資料前處理分成兩個部分:
- 轉換距離單位,用
km欄位取代mile欄位;以及 - 建立一個布林欄位,用來標示航班是否延誤。
本練習屬於課程
使用 PySpark 的機器學習
練習說明
- 匯入可將數字四捨五入到指定小數位數的函式。
- 從
mile欄位推導出新的km欄位,並四捨五入到 0 位小數。1 英里等於 1.60934 公里。 - 移除
mile欄位。 - 建立
label欄位:延誤達 15 分鐘(含)記為 1,否則為 0。請仔細思考你的邏輯條件。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Import the required function
from pyspark.sql.functions import ____
# Convert 'mile' to 'km' and drop 'mile' column (1 mile is equivalent to 1.60934 km)
flights_km = flights.____('km', ____(____ * ____, 0)) \
.____('mile')
# Create 'label' column indicating whether flight delayed (1) or not (0)
flights_km = flights_km.____('label', (____).cast('integer'))
# Check first five records
flights_km.show(5)