Spark SQL Join
有時候用 SQL 來寫複雜的 join 會更容易。在這個練習中，join 的鍵已經有相同的格式與精度，但我們會使用 SparkSQL 來完成連接。
本練習屬於課程
使用 PySpark 進行特徵工程
練習說明
- 使用
createOrReplaceTempView將這兩個 DataFrame 註冊為 SparkSQL 資料表，分別命名為df與walk_df。 - 在
join_sql字串中，把左表設為df、右表設為walk_df。 - 對
join_sql字串呼叫spark.sql()來執行 join。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)
# SQL to join dataframes
join_sql = """
SELECT
*
FROM ____
LEFT JOIN ____
ON df.longitude = walk_df.longitude
AND df.latitude = walk_df.latitude
"""
# Perform sql join
joined_df = spark.sql(____)