Identificarea valorilor extreme cu z-scoruri

Distribuția normală este omniprezentă în lumea naturală și reprezintă cea mai frecventă distribuție. De aceea, metoda z-scorului poate fi una dintre cele mai rapide metode de detectare a valorilor extreme.

Amintește-ți regula generală din videoclip: dacă un eșantion se află la mai mult de trei abateri standard față de medie, îl poți considera o valoare extremă.

Totuși, reține că metoda z-scorului trebuie aplicată cu prudență. Această metodă este potrivită doar atunci când suntem siguri că datele provin dintr-o distribuție normală. Altfel, rezultatele pot fi înșelătoare.

Distribuția prices a fost deja încărcată pentru tine.

Acest exercițiu face parte din cursul

Detecția anomaliilor în Python

Vezi cursul

Instrucțiuni pentru exercițiu

Importă funcția zscore din modulul relevant al scipy.
Calculează z-scorurile pentru prices și stochează-le în scores.
Creează o mască booleană numită is_over_3 pentru a verifica dacă valorile absolute ale lui scores sunt mai mari de 3.
Folosește masca pentru a filtra prices și a obține valorile extreme.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import the zscores function
from scipy.____ import ____

# Find the zscores of prices
scores = ____(____)

# Check if the absolute values of scores are over 3
is_over_3 = ____

# Use the mask to subset prices
outliers = ____[____]

print(len(outliers))

Editează și rulează codul