Obsługa brakujących danych – wypełnianie i usuwanie
O rany… W tym zbiorze danych jest mnóstwo brakujących wartości! Czas to posprzątać! Korzystając z wczytanego pliku CSV, usuń wiersze zawierające wartości null i wyświetl wynik!
Pamiętaj, że w środowisku pracy masz już dostępną sesję SparkSession o nazwie spark!
To ćwiczenie jest częścią kursu
Wprowadzenie do PySpark
Instrukcje do ćwiczenia
- Usuń wszystkie wiersze z wartościami null z DataFrame
census_df. - Wyświetl wynikowy DataFrame.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Drop rows with any nulls
census_cleaned = census_df.____
# Show the result
census_cleaned.____