Обработка пропущенных данных: заполнение и удаление
Да уж… В этом наборе данных очень много пропущенных значений! Давайте приведём его в порядок! Используя загруженный CSV-файл, удалите строки, содержащие хотя бы одно значение null, и выведите результат на экран!
Напоминаем: в вашем рабочем пространстве уже создана SparkSession с именем spark!
Это упражнение является частью курса
Введение в PySpark
Инструкции к упражнению
- Удалите все строки с пропущенными значениями из DataFrame
census_df. - Выведите полученный DataFrame на экран.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Drop rows with any nulls
census_cleaned = census_df.____
# Show the result
census_cleaned.____