常规连接
您收到了两个 DataFrame,需要将其合并为一个有用的 DataFrame。您的第一项任务是以常规方式合并这两个 DataFrame,并查看执行计划。
DataFrame flights_df 和 airports_df 已为您提供。
本练习是课程的一部分
使用 PySpark 进行数据清洗
练习说明
- 通过将
flights_df与airports_df进行连接,创建新的 DataFramenormal_df。 - 确定在查询计划中使用的是哪种连接类型。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Join the flights_df and aiports_df DataFrames
normal_df = flights_df.____(____, \
flights_df["Destination Airport"] == airports_df["IATA"] )
# Show the query plan
normal_df.____()