Об'єднання в Spark SQL

Іноді складні об'єднання значно простіше писати в SQL. У цій вправі ми почнемо з ключів об'єднання вже в тому самому форматі та з однаковою точністю, але використаємо SparkSQL для виконання об'єднання.

Ця вправа є частиною курсу

Опрацювання ознак у PySpark

Переглянути курс

Інструкції до вправи

Зареєструйте датафрейми як таблиці SparkSQL за допомогою createOrReplaceTempView, назвіть їх відповідно df та walk_df.
У рядку join_sql установіть ліву таблицю як df, а праву — як walk_df.
Викличте spark.sql() для рядка join_sql, щоб виконати об'єднання.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Редагувати та запускати код