Uitschieters vinden met z-scores
De normale verdeling komt overal in de natuur voor en is de meest voorkomende verdeling. Daarom kan de z-scoremethode een van de snelste manieren zijn om uitschieters te detecteren.
Onthoud de vuistregel uit de video: als een steekproef meer dan drie standaardafwijkingen van het gemiddelde afligt, kun je die als een extreem waarde beschouwen.
Houd er ook rekening mee dat je de z-scoremethode met voorzichtigheid moet gebruiken. Deze methode is alleen geschikt als we zeker weten dat onze data uit een normale verdeling komt. Anders kunnen de resultaten misleidend zijn.
De verdeling prices is voor je ingeladen.
Deze oefening maakt deel uit van de cursus
Anomaly Detection in Python
Oefeninstructies
- Importeer de functie
zscoreuit de relevantescipy-module. - Bepaal de z-scores van
pricesen sla ze op inscores. - Maak een booleans masker met de naam
is_over_3om te controleren of de absolute waarden vanscoresgroter zijn dan 3. - Gebruik het masker om
priceste filteren op uitschieters.
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
# Import the zscores function
from scipy.____ import ____
# Find the zscores of prices
scores = ____(____)
# Check if the absolute values of scores are over 3
is_over_3 = ____
# Use the mask to subset prices
outliers = ____[____]
print(len(outliers))