Supprimer des colonnes et des lignes
Vous avez précédemment chargé des données de vols aériens depuis un fichier CSV. Vous allez développer un modèle pour prédire si un vol donné sera en retard ou non.
Dans cet exercice, vous devez restreindre ces données en :
- supprimant une colonne non informative et
- supprimant les lignes qui n'indiquent pas si un vol a été en retard.
Les données sont disponibles sous le nom flights.
Remarque : Il peut être utile de revoir les diaporamas des leçons dans le panneau Diaporama à côté de l'IPython Shell.
Cet exercice fait partie du cours
<cours>Apprentissage automatique avec PySpark</cours>Instructions de l’exercice
- Supprimez la colonne
flight. - Déterminez combien d'enregistrements ont des valeurs manquantes dans la colonne
delay. - Supprimez les enregistrements avec des valeurs manquantes dans la colonne
delay. - Supprimez les enregistrements avec des valeurs manquantes dans n'importe quelle colonne et obtenez le nombre de lignes restantes.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())