フライトと目的地の空港を結合する
あなたは、グローバルな旅行会社のデータエンジニアとして採用されました。最初のタスクは、フライトデータを分析して会社の業務改善に貢献することです。ワークスペースには、フライトの詳細を含むデータセット(flights)と、目的地の空港情報を含むデータセット(airports)の2つが用意されており、どちらもすでにワークスペースで利用可能です。
目標は、これらのデータセットを組み合わせて、各フライトと目的地の空港を紐づけた統合データセットを作成することです。
この演習はコースの一部です
PySpark 入門
演習の手順
airportsDataFrame を確認し、airportsをflightsテーブルに結合するためのキー列を特定します。flightsとairportsDataFrame を"dest"列で結合し、結果をflights_with_airportsとして保存します。flights_with_airportsを再度確認し、追加された新しい情報に注目します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Examine the data
airports.____()
# .withColumnRenamed() renames the "faa" column to "dest"
airports = airports.withColumnRenamed("faa", "dest")
# Join the DataFrames
flights_with_airports = ____
# Examine the new DataFrame
flights_with_airports.____