集計 II
組み込みの集計メソッドにもっと慣れていただくために、flights テーブルを使った演習をさらに用意しました!
SparkSession の spark と、Spark DataFrame の flights はワークスペースにすでに用意されています。
この演習はコースの一部です
PySpark入門
演習の手順
.avg()メソッドを使って、SEA から出発した Delta Airlines のフライト(carrier列が"DL"の行)の平均飛行時間を取得し、show()で結果を表示します。出発地はorigin列にあります。.sum()メソッドを使って、air_time列からduration_hrsという列を作成し、このデータセット内のすべての飛行機が空中にいた総時間(時間単位)を求め、show()で結果を表示します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()
# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()