Join theo thành phần thời gian
Bạn thường sẽ dùng các thành phần ngày tháng để join với các tập thông tin khác. Tuy nhiên, trong ví dụ này, chúng ta cần dùng dữ liệu mà người cân nhắc mua nhà khi đó có thể tiếp cận. Điều này có nghĩa là bạn sẽ cần dùng dữ liệu báo cáo của năm trước cho phân tích của mình.
Bài tập này là một phần của khóa học
Feature Engineering với PySpark
Hướng dẫn bài tập
- Trích xuất năm từ
LISTDATEbằngyear()và đưa vào cột mới tênlist_yearvớiwithColumn() - Tạo thêm một cột mới tên
report_yearbằng cách trừ 1 từlist_year - Tạo điều kiện join khớp
df['CITY']vớiprice_df['City']vàdf['report_year']vớiprice_df['Year'] - Thực hiện left join giữa
dfvàprice_df
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
from pyspark.sql.functions import year
# Initialize dataframes
df = real_estate_df
price_df = median_prices_df
# Create year column
df = df.____(____, ____(____))
# Adjust year to match
df = df.withColumn(____, (df[____] - 1))
# Create join condition
condition = [df[____] == price_df[____], df[____] == price_df[____]]
# Join the dataframes together
df = ____.join(____, on=condition, how=____)
# Inspect that new columns are available
df[['MedianHomeValue']].show()