คำนวณเปอร์เซ็นต์ของค่าที่หายไป
การทำงานแบบอัตโนมัติคืออนาคตของวิทยาศาสตร์ข้อมูล การเรียนรู้ที่จะทำให้ขั้นตอนเตรียมข้อมูลเป็นแบบอัตโนมัตินั้นให้ผลตอบแทนที่คุ้มค่า ในแบบฝึกหัดนี้ เราจะสร้างระบบอัตโนมัติสำหรับการลบคอลัมน์ที่มีค่าสูญหายเกินเกณฑ์ที่กำหนด
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Feature Engineering with PySpark
คำแนะนำการฝึกหัด
- กำหนดฟังก์ชัน
column_dropper()ที่รับพารามิเตอร์df(DataFrame) และthreshold(ค่าทศนิยมระหว่าง 0 ถึง 1) - คำนวณเปอร์เซ็นต์ของค่าที่หายไปโดยใช้
where(),isNull()และcount() - ตรวจสอบว่าเปอร์เซ็นต์ของค่าที่หายไปสูงกว่าเกณฑ์หรือไม่ ถ้าใช่ ให้ลบคอลัมน์นั้นด้วย
drop() - รัน
column_dropper()บนdfโดยตั้งค่า threshold เป็น .6
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
def column_dropper(df, threshold):
# Takes a dataframe and threshold for missing values. Returns a dataframe.
total_records = df.____()
for col in df.columns:
# Calculate the percentage of missing values
missing = df.____(df[col].____()).____()
missing_percent = ____ / ____
# Drop column if percent of missing is more than threshold
if ____ > ____:
df = df.____(col)
return df
# Drop columns that are more than 60% missing
df = ____(____, ____)