Créer un booléen
Supposons que vous modélisez une question à réponse oui ou non : le vol est-il en retard? Cependant, vos données contiennent le retard à l'arrivée en minutes pour chaque vol. Vous devrez donc créer une colonne booléenne qui indique si le vol était en retard ou non!
Cette activité fait partie du cours
Fondements de PySpark
Instructions de l’exercice
- Utilisez la méthode
.withColumn()pour créer la colonneis_late. Cette colonne est égale àmodel_data.arr_delay > 0. - Convertissez cette colonne en une colonne de type entier afin de pouvoir l'utiliser dans votre modèle et nommez-la
label(c'est le nom par défaut de la variable réponse dans les routines de Machine Learning de Spark). - Excluez les valeurs manquantes (cela a été fait pour vous).
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Create is_late
model_data = model_data.withColumn("is_late", ____)
# Convert to an integer
model_data = model_data.withColumn("label", ____)
# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")