Łączenie tabel w Spark SQL

Czasem łatwiej jest napisać złożone złączenia (join) w SQL niż w kodzie PySpark. W tym ćwiczeniu klucze złączenia mają już ten sam format i precyzję – skorzystasz ze Spark SQL, aby wykonać operację łączenia.

To ćwiczenie jest częścią kursu

Inżynieria cech z PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Zarejestruj ramki danych jako tabele SparkSQL za pomocą createOrReplaceTempView – nadaj im nazwy odpowiednio df i walk_df.
W łańcuchu znaków join_sql ustaw lewą tabelę jako df, a prawą jako walk_df.
Wywołaj spark.sql() na łańcuchu join_sql, aby wykonać złączenie.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Edytuj i uruchom kod