Suppression de colonnes et de lignes
Vous avez déjà chargé des données de vols d'avion à partir d'un fichier CSV. Vous allez élaborer un modèle qui prédira si un vol donné aura du retard ou non.
Dans cet exercice, vous devez épurer ces données en :
- supprimant une colonne non informative et
- supprimant les lignes qui n'indiquent pas si un vol a eu du retard.
Les données sont disponibles sous le nom flights.
Note : Il peut être utile de revoir les diapositives des leçons dans le panneau Diaporama à côté de l'IPython Shell.
Cette activité fait partie du cours
Machine Learning avec PySpark
Instructions de l’exercice
- Supprimez la colonne
flight. - Déterminez combien d'enregistrements ont des valeurs manquantes dans la colonne
delay. - Supprimez les enregistrements ayant des valeurs manquantes dans la colonne
delay. - Supprimez les enregistrements ayant des valeurs manquantes dans n'importe quelle colonne et obtenez le nombre de lignes restantes.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())