彙總 II
為了讓你更熟悉內建的彙總方法,下面有幾個關於 flights 資料表的練習!
請記住:名為 spark 的 SparkSession 已經在你的工作區中,還有 Spark 的 DataFrame flights。
本練習屬於課程
PySpark 基礎
練習說明
- 使用
.avg()取得達美航空(carrier欄位值為"DL")且由 SEA 起飛的航班之平均空中飛行時間。出發地存於origin欄位。使用show()顯示結果。 - 使用
.sum()來計算本資料集中所有班機總共在空中飛行了多少小時:先從air_time欄位建立名為duration_hrs的欄位。使用show()顯示結果。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()
# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()