1. Learn
    2. /
  2. Курси
    3. /
  3. Опрацювання ознак у PySpark
Connected

Вправа

Імпутація пропущених даних

Пропущені дані трапляються. Якщо ми припускаємо, що наші дані пропущені повністю випадково, то вважаємо, що наявні дані добре представляють генеральну сукупність. Якщо пропусків небагато, їх можна видалити або замінити середнім чи медіаною. У цій вправі ми розглянемо 'PDOM': кількість днів на ринку за поточною ціною.

Інструкції

100 XP
  • Отримайте кількість пропущених значень у стовпці 'PDOM', використовуючи where(), isNull() та count().
  • Обчисліть середнє значення 'PDOM' за допомогою агрегатної функції mean().
  • Використайте fillna() зі значенням, встановленим на середнє 'PDOM', і застосуйте його лише до стовпця 'PDOM', використовуючи параметр subset.