CommencerCommencez gratuitement

Joindre les DataFrames

Dans les deux chapitres suivants, vous travaillerez à la construction d'un modèle permettant de prédire si un vol sera retardé ou non, sur la base des données de vol avec lesquelles nous avons travaillé. Ce modèle inclura également des informations sur l'avion qui a effectué le trajet. La première étape consiste donc à joindre les deux tables : flights et planes.

Cet exercice fait partie du cours

<cours>Principes fondamentaux de PySpark</cours>
Voir le cours

Instructions de l’exercice

  • Tout d'abord, veuillez renommer la colonne year de planes à plane_year afin d'éviter les doublons dans les noms de colonnes.
  • Veuillez créer un nouveau DataFrame nommé model_data en joignant la table flights à la table planes en utilisant la colonne tailnum comme clé.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Rename year column
planes = planes.withColumnRenamed(____)

# Join the DataFrames
model_data = flights.join(____, on=____, how="leftouter")
Modifier et exécuter le code