DataFrame を結合する
次の2章では、これまで扱ってきたフライトデータに基づいて、フライトが遅延するかどうかを予測するモデルを作成していきます。このモデルには、ルートを飛んだ機体に関する情報も含めます。最初のステップとして、flights と planes の2つのテーブルを結合しましょう。
この演習はコースの一部です
PySpark入門
演習の手順
- まず、重複した列名を避けるために、
planesのyear列名をplane_yearに変更します。 - 次に、
tailnum列をキーとして使用し、flightsテーブルとplanesを結合して、model_dataという新しい DataFrame を作成します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Rename year column
planes = planes.withColumnRenamed(____)
# Join the DataFrames
model_data = flights.join(____, on=____, how="leftouter")