Jointures II

En PySpark, les jointures se font avec la méthode .join() des DataFrames. Cette méthode prend trois arguments. Le premier est le deuxième DataFrame que vous voulez joindre au premier. Le deuxième argument, on, est le nom de la ou des colonnes clés sous forme de chaîne. Les noms des colonnes clés doivent être identiques dans chaque table. Le troisième argument, how, précise le type de jointure à effectuer. Dans ce cours, nous utiliserons toujours la valeur how="leftouter".

Le jeu de données flights et un nouveau jeu de données appelé airports sont déjà dans votre espace de travail.

Cette activité fait partie du cours

Fondements de PySpark

Voir le cours

Instructions de l’exercice

Examinez le DataFrame airports en appelant .show(). Repérez quelle colonne clé permettra de joindre airports à la table flights.
Renommez la colonne faa de airports en dest en réaffectant le résultat de airports.withColumnRenamed("faa", "dest") à airports.
Joignez flights au DataFrame airports sur la colonne dest en appelant la méthode .join() sur flights. Enregistrez le résultat dans flights_with_airports.
- Le premier argument doit être l'autre DataFrame, airports.
- L'argument on doit être la colonne clé.
- L'argument how doit être "leftouter".
Appelez .show() sur flights_with_airports pour réexaminer les données. Notez les nouvelles informations qui ont été ajoutées.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Examine the data
print(____)

# Rename the faa column
airports = ____

# Join the DataFrames
flights_with_airports = ____

# Examine the new DataFrame
print(____)

Modifier et exécuter le code