การลบรายการคอลัมน์
ชุดข้อมูลของเรามีฟีเจอร์มากมาย แต่ไม่ใช่ทุกฟีเจอร์จะมีประโยชน์ บางคอลัมน์จัดการได้ยากและแทบไม่ให้ข้อมูลที่เป็นประโยชน์ใดๆ ไปก่อน ลองลบคอลัมน์ที่ไม่มีประโยชน์ในทันทีออกไปกันดีกว่า
'STREETNUMBERNUMERIC': หมายเลขที่อยู่ไปรษณีย์ของบ้าน'FIREPLACES': จำนวนเตาผิงในบ้าน'LOTSIZEDIMENSIONS': ข้อความอิสระที่อธิบายรูปร่างของที่ดิน'LISTTYPE': ชุดค่าประเภทการขาย'ACRES': พื้นที่ที่ดินในรูปตัวเลข
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Feature Engineering with PySpark
คำแนะนำการฝึกหัด
- อ่านคำอธิบายคอลัมน์ด้านบน แล้วสำรวจค่า 30 อันดับแรกด้วย
show()โดย dataframe ถูกกรองเฉพาะคอลัมน์ที่ระบุไว้แล้วในชื่อdf - สร้างรายการคอลัมน์ที่ต้องการลบ 2 คอลัมน์ โดยอิงจากความไม่เกี่ยวข้องกับการทำนายราคาบ้าน แล้วตั้งชื่อว่า
cols_to_dropโปรดจำไว้ว่าคอมพิวเตอร์ประมวลผลได้เฉพาะตัวเลขเท่านั้น และไม่เข้าใจบริบทของข้อมูล - ใช้ฟังก์ชัน
drop()เพื่อลบคอลัมน์ในcols_to_dropออกจาก dataframedf
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Show top 30 records
df.____(____)
# List of columns to remove from dataset
cols_to_drop = [____, ____]
# Drop columns in list
df = df.____(____)