Join cu Spark SQL

Uneori este mult mai simplu să scrii join-uri complexe direct în SQL. În acest exercițiu, cheile de join sunt deja în același format și precizie — vei folosi SparkSQL pentru a realiza îmbinarea.

Acest exercițiu face parte din cursul

Feature Engineering cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Înregistrează DataFrame-urile ca tabele SparkSQL folosind createOrReplaceTempView, numindu-le df, respectiv walk_df.
În șirul join_sql, setează tabelul din stânga ca df și tabelul din dreapta ca walk_df.
Apelează spark.sql() pe șirul join_sql pentru a efectua join-ul.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Editează și rulează codul