Composantes temporelles

Savoir manipuler les composantes temporelles pour créer des variables est essentiel, et vous pouvez aussi les utiliser pour explorer et mieux comprendre vos données. Dans cet exercice, vous allez vérifier s’il existe un schéma selon le jour de la semaine où une maison est mise en vente. Gardez à l’esprit que, dans PySpark, la semaine commence le dimanche (valeur 1) et se termine le samedi (valeur 7).

Cet exercice fait partie du cours

<cours>Feature Engineering avec PySpark</cours>

Voir le cours

Instructions de l’exercice

Importez les fonctions to_date() et dayofweek() depuis pyspark.sql.functions
Utilisez la fonction to_date() pour convertir LISTDATE en type date Spark, et enregistrez la colonne convertie sur place avec withColumn()
Créez une nouvelle colonne à partir de LISTDATE et dayofweek(), puis enregistrez-la sous le nom List_Day_of_Week avec withColumn()
Échantillonnez la moitié du dataframe, convertissez-le en dataframe pandas avec toPandas(), puis tracez le comptage de la colonne List_Day_of_Week du dataframe pandas avec countplot() de seaborn, où x = List_Day_of_Week.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import needed functions
from ____ import ____, ____

# Convert to date type
df = df.____(____, ____(____))

# Get the day of the week
df = df.____(____, ____(____))

# Sample and convert to pandas dataframe
sample_df = df.sample(False, ____, 42).____()

# Plot count plot of of day of week
sns.____(x="List_Day_of_Week", data=____)
plt.show()

Modifier et exécuter le code