时间组件
在构建特征时会用到时间组件,不过您也可以用它们来进一步探索并理解数据。在本练习中,您将查看房源在一周中的哪一天发布,是否存在某种模式。请注意,PySpark 的一周从星期日开始,取值为 1,至星期六结束,取值为 7。
本练习是课程的一部分
使用 PySpark 进行特征工程
练习说明
- 从
pyspark.sql.functions导入to_date()和dayofweek()函数。 - 使用
to_date()将LISTDATE转换为 Spark 的日期类型,使用withColumn()就地保存转换后的列。 - 使用
LISTDATE和dayofweek()创建一个新列,并用withColumn()将其保存为List_Day_of_Week。 - 抽样一半的数据框,并使用
toPandas()将其转换为 pandas DataFrame,然后使用 seaborn 的countplot()绘制 pandas DataFrame 中List_Day_of_Week列的计数图,其中 x =List_Day_of_Week。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Import needed functions
from ____ import ____, ____
# Convert to date type
df = df.____(____, ____(____))
# Get the day of the week
df = df.____(____, ____(____))
# Sample and convert to pandas dataframe
sample_df = df.sample(False, ____, 42).____()
# Plot count plot of of day of week
sns.____(x="List_Day_of_Week", data=____)
plt.show()