Composantes temporelles

Savoir travailler avec les composantes temporelles pour créer des features est important, mais vous pouvez aussi les utiliser pour explorer et mieux comprendre vos données. Dans cet exercice, vous allez vérifier s'il existe un motif quant au jour de la semaine où une maison est mise en vente. Veuillez noter que, dans PySpark, la semaine commence le dimanche avec la valeur 1 et se termine le samedi avec la valeur 7.

Cette activité fait partie du cours

Ingénierie des caractéristiques avec PySpark

Voir le cours

Instructions de l’exercice

Importez les fonctions to_date() et dayofweek() depuis pyspark.sql.functions.
Utilisez la fonction to_date() pour convertir LISTDATE en type date Spark, puis enregistrez la colonne convertie sur place avec withColumn().
Créez une nouvelle colonne à partir de LISTDATE avec dayofweek() et enregistrez-la sous le nom List_Day_of_Week à l'aide de withColumn().
Échantillonnez la moitié du dataframe, convertissez l'échantillon en dataframe pandas avec toPandas(), puis tracez la fréquence de la colonne List_Day_of_Week de ce dataframe pandas à l'aide de countplot() de seaborn, où x = List_Day_of_Week.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import needed functions
from ____ import ____, ____

# Convert to date type
df = df.____(____, ____(____))

# Get the day of the week
df = df.____(____, ____(____))

# Sample and convert to pandas dataframe
sample_df = df.sample(False, ____, 42).____()

# Plot count plot of of day of week
sns.____(x="List_Day_of_Week", data=____)
plt.show()

Modifier et exécuter le code