Spark SQL Join

Đôi khi viết các phép join phức tạp bằng SQL sẽ dễ hơn nhiều. Trong bài tập này, chúng ta bắt đầu với các khóa join đã có cùng định dạng và độ chính xác, và sẽ dùng SparkSQL để thực hiện việc join.

Bài tập này là một phần của khóa học

Feature Engineering với PySpark

Xem khóa học

Hướng dẫn bài tập

Đăng ký các DataFrame thành bảng SparkSQL bằng createOrReplaceTempView, lần lượt đặt tên là df và walk_df.
Trong chuỗi join_sql, đặt bảng bên trái là df và bảng bên phải là walk_df.
Gọi spark.sql() với chuỗi join_sql để thực hiện phép join.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Chỉnh sửa và Chạy Mã