องค์ประกอบด้านเวลา

การทำงานกับองค์ประกอบด้านเวลาเพื่อสร้าง feature นั้นสำคัญมาก และยังช่วยให้สำรวจและทำความเข้าใจข้อมูลได้ลึกขึ้นด้วย ในแบบฝึกหัดนี้ เราจะดูว่ามีรูปแบบใดหรือไม่ว่าบ้านแต่ละหลังมักประกาศขายในวันใดของสัปดาห์ โปรดทราบว่า PySpark นับสัปดาห์โดยเริ่มจากวันอาทิตย์ซึ่งมีค่าเป็น 1 และสิ้นสุดที่วันเสาร์ซึ่งมีค่าเป็น 7

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Feature Engineering with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

Import ฟังก์ชัน to_date() และ dayofweek() จาก pyspark.sql.functions
ใช้ฟังก์ชัน to_date() เพื่อแปลง LISTDATE ให้เป็น Spark date type แล้วบันทึกคอลัมน์ที่แปลงแล้วในตำแหน่งเดิมด้วย withColumn()
สร้างคอลัมน์ใหม่โดยใช้ LISTDATE และ dayofweek() แล้วบันทึกเป็น List_Day_of_Week ด้วย withColumn()
สุ่มตัวอย่างครึ่งหนึ่งของ dataframe แล้วแปลงเป็น pandas dataframe ด้วย toPandas() จากนั้นพล็อตจำนวนของคอลัมน์ List_Day_of_Week ใน pandas dataframe โดยใช้ countplot() ของ seaborn โดยกำหนด x = List_Day_of_Week

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Import needed functions
from ____ import ____, ____

# Convert to date type
df = df.____(____, ____(____))

# Get the day of the week
df = df.____(____, ____(____))

# Sample and convert to pandas dataframe
sample_df = df.sample(False, ____, 42).____()

# Plot count plot of of day of week
sns.____(x="List_Day_of_Week", data=____)
plt.show()

แก้ไขและรันโค้ด