समय घटकों पर Joining
अक्सर आप अन्य जानकारी के सेट से जोड़ने के लिए date components का उपयोग करेंगे। लेकिन इस उदाहरण में, हमें वही डेटा चाहिए जो घर खरीदने पर विचार कर रहे लोगों के पास उपलब्ध होता। इसका मतलब है कि अपने विश्लेषण के लिए हमें पिछले वर्ष के रिपोर्टिंग डेटा का उपयोग करना होगा।
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark के साथ Feature Engineering
अभ्यास निर्देश
LISTDATEसेyear()का उपयोग करके year निकालें औरwithColumn()के साथ उसेlist_yearनाम के नए कॉलम में रखेंlist_yearमें से 1 घटाकरreport_yearनाम का एक और नया कॉलम बनाएँ- ऐसा join condition बनाएँ जो
df['CITY']कोprice_df['City']से औरdf['report_year']कोprice_df['Year']से मिलाए dfऔरprice_dfके बीच एक left join करें
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
from pyspark.sql.functions import year
# Initialize dataframes
df = real_estate_df
price_df = median_prices_df
# Create year column
df = df.____(____, ____(____))
# Adjust year to match
df = df.withColumn(____, (df[____] - 1))
# Create join condition
condition = [df[____] == price_df[____], df[____] == price_df[____]]
# Join the dataframes together
df = ____.join(____, on=condition, how=____)
# Inspect that new columns are available
df[['MedianHomeValue']].show()