Jointure Spark SQL

Il est parfois beaucoup plus simple d’écrire des jointures complexes en SQL. Dans cet exercice, nous partons de clés de jointure déjà au même format et avec la même précision, mais nous utiliserons SparkSQL pour réaliser la jointure.

Cet exercice fait partie du cours

<cours>Feature Engineering avec PySpark</cours>

Voir le cours

Instructions de l’exercice

Enregistrez les DataFrames comme tables SparkSQL avec createOrReplaceTempView, et nommez-les df et walk_df respectivement.
Dans la chaîne join_sql, définissez la table de gauche comme df et la table de droite comme walk_df.
Appelez spark.sql() sur la chaîne join_sql pour effectuer la jointure.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Modifier et exécuter le code