Jointure Spark SQL

Il est parfois beaucoup plus simple d'écrire des jointures complexes en SQL. Dans cet exercice, nous partons de clés de jointure déjà au même format et avec la même précision, mais nous utiliserons SparkSQL pour effectuer la jointure.

Cette activité fait partie du cours

Ingénierie des caractéristiques avec PySpark

Voir le cours

Instructions de l’exercice

Enregistrez les DataFrames comme tables SparkSQL avec createOrReplaceTempView, et nommez-les df et walk_df respectivement.
Dans la chaîne join_sql, définissez la table de gauche à df et la table de droite à walk_df.
Appelez spark.sql() sur la chaîne join_sql pour exécuter la jointure.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Modifier et exécuter le code