Spark SQL 조인

복잡한 조인을 작성할 때는 SQL이 훨씬 쉬울 때가 있어요. 이 연습에서는 조인 키가 이미 같은 형식과 정밀도로 맞춰져 있다고 가정하고, 조인은 SparkSQL로 수행해 보겠습니다.

이 연습은 강의의 일부입니다

PySpark로 하는 Feature Engineering

연습 안내

createOrReplaceTempView로 DataFrame을 SparkSQL 테이블로 등록하고, 각각의 이름을 df, walk_df로 지정하세요.
join_sql 문자열에서 왼쪽 테이블은 df, 오른쪽 테이블은 walk_df로 설정하세요.
조인을 수행하려면 join_sql 문자열을 spark.sql()에 전달해 호출하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

코드 편집 및 실행