Bù khuyết dữ liệu thiếu
Dữ liệu thiếu là chuyện thường gặp. Nếu ta giả định dữ liệu bị thiếu hoàn toàn ngẫu nhiên, ta đang giả định phần dữ liệu hiện có là đại diện tốt cho tổng thể. Nếu chỉ thiếu vài giá trị, bạn có thể xóa chúng hoặc dùng giá trị trung bình (mean) hay trung vị (median) để thay thế. Trong bài tập này, chúng ta sẽ xem xét 'PDOM': số ngày trên thị trường ở mức giá hiện tại.
Bài tập này là một phần của khóa học
Feature Engineering với PySpark
Hướng dẫn bài tập
- Đếm số giá trị thiếu trong cột
'PDOM'bằngwhere(),isNull()vàcount(). - Tính giá trị trung bình của
'PDOM'bằng hàm tổng hợpmean(). - Dùng
fillna()với giá trị đặt bằng mean của'PDOM'và chỉ áp dụng cho cột'PDOM'thông qua tham sốsubset.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Count missing rows
missing = df.____(df[____].____()).____()
# Calculate the mean value
col_mean = df.____({____: ____}).____()[0][0]
# Replacing with the mean value for that column
df.____(____, ____=[____])