Création d'un booléen
Considérez que vous modélisez une question fermée : le vol est-il en retard ? Cependant, vos données indiquent le retard à l'arrivée en minutes pour chaque vol. Par conséquent, il sera nécessaire de créer une colonne booléenne qui indique si le vol a été retardé ou non.
Cet exercice fait partie du cours
<cours>Principes fondamentaux de PySpark</cours>Instructions de l’exercice
- Veuillez utiliser la méthode
.withColumn()pour créer la colonneis_late. Cette colonne correspond àmodel_data.arr_delay > 0. - Veuillez convertir cette colonne en colonne entière afin de pouvoir l'utiliser dans votre modèle et nommez-la
label(il s'agit du nom par défaut de la variable de réponse dans les routines de machine learning de Spark). - Veuillez filtrer les valeurs manquantes (cela a déjà été effectué pour vous).
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Create is_late
model_data = model_data.withColumn("is_late", ____)
# Convert to an integer
model_data = model_data.withColumn("label", ____)
# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")