เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

คำนวณเปอร์เซ็นต์ของค่าที่หายไป

การทำงานแบบอัตโนมัติคืออนาคตของวิทยาศาสตร์ข้อมูล การเรียนรู้ที่จะทำให้ขั้นตอนเตรียมข้อมูลเป็นแบบอัตโนมัตินั้นให้ผลตอบแทนที่คุ้มค่า ในแบบฝึกหัดนี้ เราจะสร้างระบบอัตโนมัติสำหรับการลบคอลัมน์ที่มีค่าสูญหายเกินเกณฑ์ที่กำหนด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Feature Engineering with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • กำหนดฟังก์ชัน column_dropper() ที่รับพารามิเตอร์ df (DataFrame) และ threshold (ค่าทศนิยมระหว่าง 0 ถึง 1)
  • คำนวณเปอร์เซ็นต์ของค่าที่หายไปโดยใช้ where(), isNull() และ count()
  • ตรวจสอบว่าเปอร์เซ็นต์ของค่าที่หายไปสูงกว่าเกณฑ์หรือไม่ ถ้าใช่ ให้ลบคอลัมน์นั้นด้วย drop()
  • รัน column_dropper() บน df โดยตั้งค่า threshold เป็น .6

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

def column_dropper(df, threshold):
  # Takes a dataframe and threshold for missing values. Returns a dataframe.
  total_records = df.____()
  for col in df.columns:
    # Calculate the percentage of missing values
    missing = df.____(df[col].____()).____()
    missing_percent = ____ / ____
    # Drop column if percent of missing is more than threshold
    if ____ > ____:
      df = df.____(col)
  return df

# Drop columns that are more than 60% missing
df = ____(____, ____)
แก้ไขและรันโค้ด