Componente de timp

Capacitatea de a lucra cu componente de timp este importantă pentru construirea atributelor, dar le poți folosi și pentru a explora și înțelege mai bine datele. În acest exercițiu, vei analiza dacă există un tipar în ziua din săptămână în care o casă este listată. Te rog să reții că săptămâna în PySpark începe duminica, cu valoarea 1, și se termină sâmbăta, cu valoarea 7.

Acest exercițiu face parte din cursul

Feature Engineering cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Importă funcțiile to_date() și dayofweek() din pyspark.sql.functions
Folosește funcția to_date() pentru a converti LISTDATE la tipul de dată Spark și salvează coloana convertită în același loc folosind withColumn()
Creează o coloană nouă folosind LISTDATE și dayofweek(), apoi salveaz-o ca List_Day_of_Week cu ajutorul withColumn()
Eșantionează jumătate din dataframe, convertește-l în pandas dataframe cu toPandas() și reprezintă grafic numărul de apariții ale coloanei List_Day_of_Week din pandas dataframe folosind countplot() din seaborn, unde x = List_Day_of_Week.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import needed functions
from ____ import ____, ____

# Convert to date type
df = df.____(____, ____(____))

# Get the day of the week
df = df.____(____, ____(____))

# Sample and convert to pandas dataframe
sample_df = df.sample(False, ____, 42).____()

# Plot count plot of of day of week
sns.____(x="List_Day_of_Week", data=____)
plt.show()

Editează și rulează codul