Zpracování odlehlých hodnot
V předchozím cvičení sis ukázal/a, jak může vizualizace odlehlých hodnot přijít vhod při pohovoru na pozici v oblasti Machine Learning. Dalším praktickým způsobem, jak s odlehlými hodnotami pracovat, je výpočet Z-skóre, které definuje práh pro odlehlé hodnoty přibližně +/−3 standardní odchylky od průměru.
V tomto cvičení použiješ modul scipy.stats k výpočtu Z-skóre pomocí funkce stats.zscore() a funkci mstats.winsorize() k nahrazení odlehlých hodnot technikou zvanou Winsorizing.
Z videoukázky si pamatuj, že hodnoty nad nebo pod 1,5násobkem IQR jsou považovány za možné odlehlé hodnoty. Pro poslední krok tohoto cvičení je tato hodnota 2120.
Potřebné balíčky už jsou naimportované a numerické a kategorické sloupce datasetu loan_data jsou uloženy jako numeric_cols a categoric_cols.
Toto cvičení je součástí kurzu
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Print: before dropping
print(numeric_cols.mean())
print(numeric_cols.median())
print(numeric_cols.max())
# Create index of rows to keep
idx = (np.____(stats.____(____)) < 3).all(axis=1)
# Concatenate numeric and categoric subsets
ld_out_drop = pd.concat([numeric_cols.loc[____], categoric_cols.loc[____]], axis=1)
# Print: after dropping
print(ld_out_drop.mean())
print(ld_out_drop.median())
print(ld_out_drop.max())