Trực quan hóa dữ liệu thiếu
Khả năng vẽ biểu đồ các giá trị bị thiếu là cách tuyệt vời để nhanh chóng nắm được dữ liệu của bạn thiếu bao nhiêu. Nó cũng giúp làm nổi bật khi các biến thiếu theo một mẫu nhất định — điều cần xử lý cẩn trọng kẻo mô hình bị thiên lệch.
Biến nào có nhiều giá trị thiếu nhất? Chạy tất cả các dòng mã trừ dòng cuối để tìm câu trả lời. Khi đã chắc chắn, hãy điền giá trị và nhấn "Gửi câu trả lời".
Bài tập này là một phần của khóa học
Feature Engineering với PySpark
Hướng dẫn bài tập
- Dùng
select()để chọn tập con từ dataframedfvới danh sách cộtcolumnsvà lấy mẫu bằng hàmsample()đã cho, rồi gán dataframe này vào biếnsample_df. - Chuyển dataframe đã chọn thành dataframe
pandaslàpandas_df, và dùngpandasisnull()để chuyểnDataFramenày sang True/False. Lưu kết quả vàotf_df. - Dùng
heatmap()của seaborn để vẽtf_df. - Nhấn "Chạy mã" để xem biểu đồ. Sau đó gán tên biến có nhiều giá trị thiếu nhất vào
answer.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Sample the dataframe and convert to Pandas
____ = df.select(____).sample(False, 0.1, 42)
____ = ____.toPandas()
# Convert all values to T/F
tf_df = ____.____()
# Plot it
sns.____(data=____)
plt.xticks(rotation=30, fontsize=10)
plt.yticks(rotation=0, fontsize=10)
plt.show()
# Set the answer to the column with the most missing data
answer = '____'