Tính phần trăm giá trị thiếu
Tự động hóa là tương lai của khoa học dữ liệu. Việc học cách tự động hóa một số bước chuẩn bị dữ liệu sẽ mang lại lợi ích lâu dài. Trong bài tập này, chúng ta sẽ tự động loại bỏ các cột nếu dữ liệu bị thiếu vượt quá một ngưỡng xác định.
Bài tập này là một phần của khóa học
Feature Engineering với PySpark
Hướng dẫn bài tập
- Định nghĩa một hàm
column_dropper()nhận tham sốdflà một dataframe vàthresholdlà một số thực trong khoảng từ 0 đến 1. - Tính tỷ lệ phần trăm giá trị bị thiếu bằng cách dùng
where(),isNull()vàcount() - Kiểm tra xem tỷ lệ thiếu có cao hơn ngưỡng không; nếu có, loại bỏ cột bằng
drop() - Chạy
column_dropper()trêndfvới ngưỡng đặt là 0.6
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
def column_dropper(df, threshold):
# Takes a dataframe and threshold for missing values. Returns a dataframe.
total_records = df.____()
for col in df.columns:
# Calculate the percentage of missing values
missing = df.____(df[col].____()).____()
missing_percent = ____ / ____
# Drop column if percent of missing is more than threshold
if ____ > ____:
df = df.____(col)
return df
# Drop columns that are more than 60% missing
df = ____(____, ____)