Removendo colunas e linhas
Você já carregou dados de voos de uma companhia aérea a partir de um arquivo CSV. Agora, vai desenvolver um modelo para prever se um determinado voo vai atrasar ou não.
Neste exercício, você precisa reduzir esses dados:
- removendo uma coluna pouco informativa e
- removendo as linhas que não têm informação sobre se o voo atrasou ou não.
Os dados estão disponíveis como flights.
Observação: Pode ser útil revisar os slides das aulas no painel Slides ao lado do IPython Shell.
Este exercicio faz parte do curso
Machine learning com PySpark
Instruções do exercicio
- Remova a coluna
flight. - Descubra quantos registros têm valores ausentes na coluna
delay. - Remova os registros com valores ausentes na coluna
delay. - Remova os registros com valores ausentes em qualquer coluna e obtenha o número de linhas restantes.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())