Folosirea probabilităților pentru valori aberante
O alternativă la izolarea valorilor aberante cu contamination este utilizarea probabilităților pentru outlieri. Avantajul acestei metode este că poți alege un prag de probabilitate arbitrar, ceea ce înseamnă că poți controla cât de încrezător vrei să fii în predicții.
IForest și big_mart sunt deja încărcate.
Acest exercițiu face parte din cursul
Detecția anomaliilor în Python
Instrucțiuni pentru exercițiu
- Calculează probabilitățile atât pentru inlieri, cât și pentru outlieri.
- Extrage probabilitățile pentru outlieri în
outlier_probs. - Filtrează outlierii în
outliersfolosind un prag de 70% aplicat peoutlier_probs.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
iforest = IForest(random_state=10).fit(big_mart)
# Calculate probabilities
probs = iforest.____
# Extract the probabilities for outliers
outlier_probs = ____[____]
# Filter for when the probability is higher than 70%
outliers = ____[____]
print(len(outliers))