CommencezCommencez gratuitement

Joindre les DataFrames

Dans les deux prochains chapitres, vous allez construire un modèle qui prédit si un vol sera retardé ou non à partir des données de vols que nous utilisons. Ce modèle inclura aussi des renseignements sur l'avion ayant effectué le trajet. La première étape consiste donc à joindre les deux tables : flights et planes !

Cette activité fait partie du cours

Fondements de PySpark

Voir le cours

Instructions de l’exercice

  • D'abord, renommez la colonne year de planes en plane_year pour éviter les noms de colonnes en double.
  • Créez un nouveau DataFrame appelé model_data en joignant la table flights avec planes à l'aide de la colonne tailnum comme clé.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Rename year column
planes = planes.withColumnRenamed(____)

# Join the DataFrames
model_data = flights.join(____, on=____, how="leftouter")
Modifier et exécuter le code