Tratando valores ausentes com fill e drop
Puxa… Há muitos valores ausentes neste conjunto de dados! Vamos limpar isso! Com o arquivo CSV já carregado, remova as linhas que tenham qualquer valor nulo e mostre os resultados!
Lembre-se: já existe uma SparkSession chamada spark no seu ambiente!
Este exercicio faz parte do curso
Introdução ao PySpark
Instruções do exercicio
- Remova quaisquer linhas com valores nulos no DataFrame
census_df. - Mostre o DataFrame resultante.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Drop rows with any nulls
census_cleaned = census_df.____
# Show the result
census_cleaned.____