通常の結合
2つのDataFrameを1つの有用なDataFrameに結合する課題です。まずは、通常どおりにDataFrameを結合し、実行プランを確認しましょう。
DataFrame flights_df と airports_df が利用できます。
この演習はコースの一部です
PySpark でデータをクレンジングする
演習の手順
flights_dfとairports_dfを結合して、新しいDataFramenormal_dfを作成します。- クエリプランで使用されている結合タイプを特定します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Join the flights_df and aiports_df DataFrames
normal_df = flights_df.____(____, \
flights_df["Destination Airport"] == airports_df["IATA"] )
# Show the query plan
normal_df.____()