Spark SQL Join

Někdy je jednodušší napsat složitější joiny přímo v SQL. V tomto cvičení jsou klíče pro join už ve stejném formátu i přesnosti – využijeme SparkSQL k samotnému spojení tabulek.

Toto cvičení je součástí kurzu

Feature Engineering with PySpark

Zobrazit kurz

Pokyny k cvičení

Zaregistruj oba DataFramy jako SparkSQL tabulky pomocí createOrReplaceTempView a pojmenuj je df a walk_df.
V řetězci join_sql nastav levou tabulku na df a pravou na walk_df.
Zavolej spark.sql() na řetězci join_sql, čímž join provedeš.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Upravit a spustit kód