時間コンポーネント

特徴量作成のために時間コンポーネントを扱えることは重要ですが、データをさらに探索・理解するためにも活用できます。この演習では、家がどの曜日に掲載されるかにパターンがあるかを確認します。PySpark の週は日曜日を1、土曜日を7としてカウントする点にご注意ください。

この演習はコースの一部です

PySparkで学ぶ特徴量エンジニアリング

コースを見る

演習の手順

pyspark.sql.functions から to_date() と dayofweek() をインポートします。
to_date() 関数で LISTDATE を Spark の日付型に変換し、withColumn() を使って同じ列名で上書き保存します。
LISTDATE と dayofweek() を用いて新しい列を作成し、withColumn() で List_Day_of_Week という列名で保存します。
データフレームを半分サンプリングし、toPandas() で pandas データフレームに変換して、seaborn の countplot() を使い、x = List_Day_of_Week として pandas データフレームの List_Day_of_Week 列の件数をプロットします。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Import needed functions
from ____ import ____, ____

# Convert to date type
df = df.____(____, ____(____))

# Get the day of the week
df = df.____(____, ____(____))

# Sample and convert to pandas dataframe
sample_df = df.sample(False, ____, 42).____()

# Plot count plot of of day of week
sns.____(x="List_Day_of_Week", data=____)
plt.show()

コードを編集して実行