Các thành phần thời gian

Làm việc với các thành phần thời gian để xây dựng đặc trưng là quan trọng, và bạn cũng có thể dùng chúng để khám phá, hiểu dữ liệu sâu hơn. Trong bài tập này, bạn sẽ kiểm tra xem có mẫu hình nào về ngày trong tuần mà một căn nhà được đăng bán hay không. Lưu ý rằng tuần của PySpark bắt đầu vào Chủ nhật với giá trị 1 và kết thúc vào Thứ bảy với giá trị 7.

Bài tập này là một phần của khóa học

Feature Engineering với PySpark

Xem khóa học

Hướng dẫn bài tập

Import các hàm to_date() và dayofweek() từ pyspark.sql.functions
Dùng hàm to_date() để chuyển LISTDATE sang kiểu ngày của Spark, lưu cột đã chuyển đổi đè lên cũ bằng withColumn()
Tạo một cột mới từ LISTDATE và dayofweek() rồi lưu thành List_Day_of_Week bằng withColumn()
Lấy mẫu một nửa dataframe và chuyển nó sang pandas dataframe với toPandas() rồi vẽ biểu đồ tần suất của cột List_Day_of_Week của pandas dataframe bằng seaborn countplot() với x = List_Day_of_Week.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Import needed functions
from ____ import ____, ____

# Convert to date type
df = df.____(____, ____(____))

# Get the day of the week
df = df.____(____, ____(____))

# Sample and convert to pandas dataframe
sample_df = df.sample(False, ____, 42).____()

# Plot count plot of of day of week
sns.____(x="List_Day_of_Week", data=____)
plt.show()

Chỉnh sửa và Chạy Mã