การกรองข้อมูลใน DataFrame
ในแบบฝึกหัดที่ผ่านมา คุณได้คัดเลือกข้อมูลด้วยตัวดำเนินการ select() ซึ่งใช้สำหรับการเลือกคอลัมน์จาก DataFrame เป็นหลัก แต่ถ้าต้องการคัดเลือกข้อมูลตามเงื่อนไข (เช่น เลือกแถวทั้งหมดที่มีเพศเป็นหญิง) ในแบบฝึกหัดนี้ คุณจะกรองแถวใน DataFrame people_df โดยแบ่งตามเพศหญิงและเพศชาย แล้วสร้างเป็นสองชุดข้อมูลแยกกัน จากนั้นนับจำนวนแถวในแต่ละชุดข้อมูล
โดย SparkSession spark และ DataFrame people_df ได้ถูกเตรียมไว้ใน workspace ของคุณแล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Big Data Fundamentals with PySpark
คำแนะนำการฝึกหัด
- กรอง DataFrame
people_dfเพื่อเลือกแถวทั้งหมดที่มีเพศเป็นหญิง แล้วเก็บผลลัพธ์ไว้ใน DataFramepeople_df_female - กรอง DataFrame
people_dfเพื่อเลือกแถวทั้งหมดที่มีเพศเป็นชาย แล้วเก็บผลลัพธ์ไว้ใน DataFramepeople_df_male - นับจำนวนแถวใน DataFrame
people_df_femaleและpeople_df_male
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Filter people_df to select females
people_df_female = people_df.____(people_df.____ == "female")
# Filter people_df to select males
people_df_male = people_df.____(____ == "____")
# Count the number of rows
print("There are {} rows in the people_df_female DataFrame and {} rows in the people_df_male DataFrame".format(people_df_female.____(), people_df_male.____()))