เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การแสดงภาพข้อมูลที่ขาดหาย

การพล็อตค่าที่ขาดหายไปเป็นวิธีที่ดีในการทำความเข้าใจอย่างรวดเร็วว่าข้อมูลของเราขาดหายไปมากน้อยแค่ไหน นอกจากนี้ยังช่วยให้เห็นรูปแบบที่ตัวแปรขาดหายไปอย่างเป็นระบบ ซึ่งต้องจัดการอย่างระมัดระวัง มิฉะนั้นโมเดลอาจเกิดความลำเอียงได้

ตัวแปรใดมีค่าขาดหายมากที่สุด? รันโค้ดทุกบรรทัดยกเว้นบรรทัดสุดท้ายเพื่อหาคำตอบ เมื่อมั่นใจแล้ว ให้กรอกค่าและกด "ส่งคำตอบ"

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Feature Engineering with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • ใช้ select() เพื่อเลือกคอลัมน์จาก DataFrame df ด้วยรายการคอลัมน์ columns จากนั้นสุ่มตัวอย่างด้วยฟังก์ชัน sample() ที่กำหนดให้ แล้วเก็บผลลัพธ์ไว้ในตัวแปร sample_df
  • แปลง DataFrame ที่ได้เป็น pandas DataFrame ชื่อ pandas_df แล้วใช้ isnull() ของ pandas เพื่อแปลงเป็นค่า True/False เก็บผลลัพธ์ไว้ใน tf_df
  • ใช้ heatmap() ของ seaborn เพื่อพล็อต tf_df
  • กด "รันโค้ด" เพื่อดูกราฟ จากนั้นกำหนดชื่อตัวแปรที่มีค่าขาดหายมากที่สุดให้กับ answer

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Sample the dataframe and convert to Pandas
____ = df.select(____).sample(False, 0.1, 42)
____ = ____.toPandas()

# Convert all values to T/F
tf_df = ____.____()

# Plot it
sns.____(data=____)
plt.xticks(rotation=30, fontsize=10)
plt.yticks(rotation=0, fontsize=10)
plt.show()

# Set the answer to the column with the most missing data
answer = '____'
แก้ไขและรันโค้ด