Eliminar columnas y filas
Anteriormente cargaste datos de vuelos de aerolíneas desde un archivo CSV. Vas a desarrollar un modelo que prediga si un vuelo concreto se retrasará o no.
En este ejercicio, necesitas depurar esos datos:
- eliminando una columna poco informativa y
- eliminando las filas que no indiquen si el vuelo se retrasó o no.
Los datos están disponibles como flights.
Nota: Te puede resultar útil repasar las diapositivas de las lecciones en el panel Diapositivas junto a la IPython Shell.
Este ejercicio forma parte del curso
Machine learning con PySpark
Instrucciones del ejercicio
- Elimina la columna
flight. - Averigua cuántos registros tienen valores faltantes en la columna
delay. - Elimina los registros con valores faltantes en la columna
delay. - Elimina los registros con valores faltantes en cualquier columna y obtén el número de filas restantes.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())