Manipulation de colonnes
La Federal Aviation Administration (FAA) considère qu'un vol est « en retard » s'il arrive 15 minutes ou plus après l'heure prévue.
La prochaine étape de la préparation des données de vol comporte deux volets :
- convertir les unités de distance, en remplaçant la colonne
milepar une colonnekm; et - créer une colonne booléenne indiquant si un vol était en retard ou non.
Cette activité fait partie du cours
Machine Learning avec PySpark
Instructions de l’exercice
- Importez une fonction qui vous permettra d'arrondir un nombre à un certain nombre de décimales.
- Créez une nouvelle colonne
kmà partir de la colonnemile, arrondie à zéro décimale. Une mile équivaut à 1,60934 km. - Supprimez la colonne
mile. - Créez une colonne
labeldont la valeur est 1 si le retard est de 15 minutes ou plus, et 0 sinon. Réfléchissez bien à la condition logique.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import the required function
from pyspark.sql.functions import ____
# Convert 'mile' to 'km' and drop 'mile' column (1 mile is equivalent to 1.60934 km)
flights_km = flights.____('km', ____(____ * ____, 0)) \
.____('mile')
# Create 'label' column indicating whether flight delayed (1) or not (0)
flights_km = flights_km.____('label', (____).cast('integer'))
# Check first five records
flights_km.show(5)