1. Learn
    2. /
  2. Курси
    3. /
  3. Опрацювання ознак у PySpark
Connected

Вправа

Обчисліть частку пропусків

Автоматизація — це майбутнє науки про дані. Уміння автоматизувати частину підготовки даних дає відчутну віддачу. У цій вправі ми автоматизуємо видалення стовпців, якщо частка пропущених значень у них перевищує заданий поріг.

Інструкції

100 XP
  • Створіть функцію column_dropper(), яка приймає параметри: df — датафрейм і threshold — число з плаваючою крапкою між 0 та 1.
  • Обчисліть відсоток відсутніх значень за допомогою where(), isNull() і count()
  • Перевірте, чи частка пропусків вища за поріг; якщо так, видаліть стовпець за допомогою drop()
  • Запустіть column_dropper() на df із порогом, встановленим на .6