Spark SQL Join
บางครั้งการเขียน join ที่ซับซ้อนด้วย SQL ทำได้ง่ายกว่ามาก ในแบบฝึกหัดนี้ คีย์ที่ใช้ join จะอยู่ในรูปแบบและความละเอียดเดียวกันแล้ว และเราจะใช้ SparkSQL ในการดำเนินการ join
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Feature Engineering with PySpark
คำแนะนำการฝึกหัด
- ลงทะเบียน DataFrame เป็นตาราง SparkSQL ด้วย
createOrReplaceTempViewโดยตั้งชื่อว่าdfและwalk_dfตามลำดับ - ในสตริง
join_sqlให้กำหนดตารางซ้ายเป็นdfและตารางขวาเป็นwalk_df - เรียก
spark.sql()โดยส่งสตริงjoin_sqlเข้าไปเพื่อดำเนินการ join
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)
# SQL to join dataframes
join_sql = """
SELECT
*
FROM ____
LEFT JOIN ____
ON df.longitude = walk_df.longitude
AND df.latitude = walk_df.latitude
"""
# Perform sql join
joined_df = spark.sql(____)