Компоненти часу

Уміння працювати з часовими компонентами для створення ознак є важливим, але їх також можна використовувати для додаткового дослідження та розуміння даних. У цій вправі ви перевірите, чи є закономірність у тому, в який день тижня виставляють будинок на продаж. Зверніть увагу, що в PySpark тиждень починається з неділі зі значенням 1 і закінчується суботою зі значенням 7.

Ця вправа є частиною курсу

Опрацювання ознак у PySpark

Переглянути курс

Інструкції до вправи

Імпортуйте функції to_date() та dayofweek() з pyspark.sql.functions
Скористайтеся функцією to_date(), щоб перетворити LISTDATE на тип дати Spark, і збережіть перетворену колонку на місці за допомогою withColumn()
Створіть нову колонку на основі LISTDATE і dayofweek(), а потім збережіть її як List_Day_of_Week за допомогою withColumn()
Виберіть половину рядків датафрейму та перетворіть вибірку на pandas-датафрейм за допомогою toPandas(). Побудуйте графік кількості значень колонки List_Day_of_Week pandas-датафрейму за допомогою seaborn countplot(), де x = List_Day_of_Week.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Import needed functions
from ____ import ____, ____

# Convert to date type
df = df.____(____, ____(____))

# Get the day of the week
df = df.____(____, ____(____))

# Sample and convert to pandas dataframe
sample_df = df.sample(False, ____, 42).____()

# Plot count plot of of day of week
sns.____(x="List_Day_of_Week", data=____)
plt.show()

Редагувати та запускати код