Składniki czasu

Praca ze składnikami czasu jest ważna przy tworzeniu cech, ale możesz ich też używać do eksploracji i lepszego zrozumienia danych. W tym ćwiczeniu sprawdzisz, czy istnieje wzorzec określający, w którym dniu tygodnia dom trafia na ogłoszenie. Pamiętaj, że w PySpark tydzień zaczyna się w niedzielę (wartość 1) i kończy w sobotę (wartość 7).

To ćwiczenie jest częścią kursu

Inżynieria cech z PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Zaimportuj funkcje to_date() i dayofweek() z modułu pyspark.sql.functions
Użyj funkcji to_date(), aby przekonwertować kolumnę LISTDATE na typ daty Sparka, a wynik zapisz w tej samej kolumnie przy użyciu withColumn()
Utwórz nową kolumnę na podstawie LISTDATE i funkcji dayofweek(), a następnie zapisz ją jako List_Day_of_Week przy użyciu withColumn()
Pobierz próbkę połowy ramki danych, przekonwertuj ją na ramkę danych pandas za pomocą toPandas() i wyświetl wykres liczebności kolumny List_Day_of_Week przy użyciu countplot() z biblioteki Seaborn, ustawiając x = List_Day_of_Week.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import needed functions
from ____ import ____, ____

# Convert to date type
df = df.____(____, ____(____))

# Get the day of the week
df = df.____(____, ____(____))

# Sample and convert to pandas dataframe
sample_df = df.sample(False, ____, 42).____()

# Plot count plot of of day of week
sns.____(x="List_Day_of_Week", data=____)
plt.show()

Edytuj i uruchom kod