Tijdcomponenten

Kunnen werken met tijdcomponenten is belangrijk voor het bouwen van features, maar je kunt ze ook gebruiken om je gegevens verder te verkennen en te begrijpen. In deze oefening kijk je of er een patroon zit in welke dag van de week een huis wordt aangeboden. Houd er rekening mee dat de week in PySpark op zondag begint met waarde 1 en eindigt op zaterdag met waarde 7.

Deze oefening maakt deel uit van de cursus

Feature Engineering met PySpark

Bekijk cursus

Oefeninstructies

Importeer de functies to_date() en dayofweek() uit pyspark.sql.functions
Gebruik de functie to_date() om LISTDATE om te zetten naar een Spark date-type, sla de geconverteerde kolom op dezelfde plek op met withColumn()
Maak een nieuwe kolom met LISTDATE en dayofweek() en sla die op als List_Day_of_Week met withColumn()
Sample de helft van de dataframe en zet deze om naar een pandas-dataframe met toPandas() en plot het aantal van de kolom List_Day_of_Week van het pandas-dataframe met seaborn countplot() waarbij x = List_Day_of_Week.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Import needed functions
from ____ import ____, ____

# Convert to date type
df = df.____(____, ____(____))

# Get the day of the week
df = df.____(____, ____(____))

# Sample and convert to pandas dataframe
sample_df = df.sample(False, ____, 42).____()

# Plot count plot of of day of week
sns.____(x="List_Day_of_Week", data=____)
plt.show()

Code bewerken en uitvoeren