เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

Spark SQL Join

บางครั้งการเขียน join ที่ซับซ้อนด้วย SQL ทำได้ง่ายกว่ามาก ในแบบฝึกหัดนี้ คีย์ที่ใช้ join จะอยู่ในรูปแบบและความละเอียดเดียวกันแล้ว และเราจะใช้ SparkSQL ในการดำเนินการ join

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Feature Engineering with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • ลงทะเบียน DataFrame เป็นตาราง SparkSQL ด้วย createOrReplaceTempView โดยตั้งชื่อว่า df และ walk_df ตามลำดับ
  • ในสตริง join_sql ให้กำหนดตารางซ้ายเป็น df และตารางขวาเป็น walk_df
  • เรียก spark.sql() โดยส่งสตริง join_sql เข้าไปเพื่อดำเนินการ join

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)
แก้ไขและรันโค้ด