Обробка викидів
У попередній вправі ви дізналися, як візуалізація викидів може стати в пригоді на співбесіді з машинного навчання. Ще один зручний спосіб обробки викидів — обчислення Z-оцінки (Z-score), яка задає поріг для викидів приблизно на +/-3 стандартні відхилення від середнього.
У цій вправі ви скористаєтеся модулем scipy.stats, щоб обчислити Z-оцінку за допомогою функції stats.zscore() і замінити викиди методом, що називається вінзоризацією (Winsorizing), використовуючи функцію mstats.winsorize().
Згадайте з відеоуроку: точки, що розташовані вище та/або нижче за 1,5 довжини міжквартильного розмаху (IQR), варто підозрювати як можливі викиди. Для останнього кроку цієї вправи це значення дорівнює 2120.
Необхідні пакети вже імпортовано, а числові та категоріальні стовпці loan_data виділено й збережено як numeric_cols та categoric_cols відповідно.
Ця вправа є частиною курсу
Практика співбесід з Machine Learning у Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Print: before dropping
print(numeric_cols.mean())
print(numeric_cols.median())
print(numeric_cols.max())
# Create index of rows to keep
idx = (np.____(stats.____(____)) < 3).all(axis=1)
# Concatenate numeric and categoric subsets
ld_out_drop = pd.concat([numeric_cols.loc[____], categoric_cols.loc[____]], axis=1)
# Print: after dropping
print(ld_out_drop.mean())
print(ld_out_drop.median())
print(ld_out_drop.max())