Wykrywanie wartości odstających za pomocą z-score
Rozkład normalny jest powszechny w przyrodzie i stanowi najczęściej spotykany typ rozkładu. Właśnie dlatego metoda z-score może być jedną z najszybszych metod wykrywania wartości odstających.
Przypomnij sobie regułę z lekcji: jeśli próbka jest oddalona od średniej o więcej niż trzy odchylenia standardowe, można ją uznać za wartość ekstremalną.
Pamiętaj jednak, że metodę z-score należy stosować z ostrożnością. Jest ona odpowiednia tylko wtedy, gdy mamy pewność, że dane pochodzą z rozkładu normalnego. W przeciwnym razie wyniki mogą być mylące.
Zmienna prices została już wczytana.
To ćwiczenie jest częścią kursu
Wykrywanie anomalii w Pythonie
Instrukcje do ćwiczenia
- Zaimportuj funkcję
zscorez odpowiedniego modułuscipy. - Oblicz z-score dla zmiennej
pricesi zapisz wyniki w zmiennejscores. - Utwórz maskę logiczną o nazwie
is_over_3, która sprawdza, czy wartości bezwzględne zscoressą większe niż 3. - Użyj maski, aby odfiltrować wartości odstające ze zmiennej
prices.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Import the zscores function
from scipy.____ import ____
# Find the zscores of prices
scores = ____(____)
# Check if the absolute values of scores are over 3
is_over_3 = ____
# Use the mask to subset prices
outliers = ____[____]
print(len(outliers))