Xử lý dữ liệu thiếu với fill và drop
Ôi trời… Bộ dữ liệu này có rất nhiều giá trị thiếu! Hãy làm sạch nó nhé! Với tệp CSV đã nạp, hãy loại bỏ các hàng có bất kỳ giá trị null nào và hiển thị kết quả!
Nhớ rằng trong không gian làm việc của bạn đã có SparkSession tên là spark!
Bài tập này là một phần của khóa học
Nhập môn PySpark
Hướng dẫn bài tập
- Loại bỏ mọi hàng có giá trị null trong DataFrame
census_df. - Hiển thị DataFrame kết quả.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Drop rows with any nulls
census_cleaned = census_df.____
# Show the result
census_cleaned.____