1. Learn
    2. /
  2. Курси
    3. /
  3. Опрацювання ознак у PySpark
Connected

Вправа

Умовна фільтрація числових полів

Ще раз: розуміти контекст ваших даних надзвичайно важливо. Нам потрібно визначити, у яких межах зазвичай продаються будинки. Переконаймося, що ми виключаємо будь-які викиди — будинки, продані суттєво дорожче або дешевше за середнє. Тут ми обчислимо середнє та стандартне відхилення й використаємо їх, щоб відфільтрувати майже нормальне поле log_SalesClosePrice.

Інструкції

100 XP
  • Імпортуйте mean() і stddev() з pyspark.sql.functions.
  • Використайте agg(), щоб обчислити середнє та стандартне відхилення для 'log_SalesClosePrice' за допомогою імпортованих функцій.
  • Створіть верхню та нижню межі, взявши mean_val +/- 3 рази stddev_val.
  • Створіть фільтр where() для 'log_SalesClosePrice', використовуючи одночасно low_bound і hi_bound.