Вилучення викидів за відсотком
Один зі способів запобігти надмірному впливу невеликої частини даних — вилучити певний відсоток найбільших та/або найменших значень у стовпці. Це можна зробити, знайшовши відповідний квантиль і обрізавши дані за допомогою маски. Такий підхід особливо корисний, якщо ви вважаєте, що найвищі значення у вашому наборі даних варто прибрати. Пам'ятайте: навіть якщо викидів немає, цей метод все одно видалить однаковий верхній відсоток N із набору даних.
Ця вправа є частиною курсу
Feature Engineering для машинного навчання в Python
Інструкції до вправи
- Знайдіть 95-й квантиль стовпця
ConvertedSalary. - Обріжте датафрейм
so_numeric_df, щоб залишити всі рядки, деConvertedSalaryменше за його 95-й квантиль. - Побудуйте гістограму для
so_numeric_df[['ConvertedSalary']]. - Побудуйте гістограму для
trimmed_df[['ConvertedSalary']].
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Find the 95th quantile
quantile = so_numeric_df['ConvertedSalary'].____(____)
# Trim the outliers
trimmed_df = so_numeric_df[so_numeric_df['ConvertedSalary'] < ____]
# The original histogram
so_numeric_df[['ConvertedSalary']].____()
plt.show()
plt.clf()
# The trimmed histogram
trimmed_df[['ConvertedSalary']].____()
plt.show()