Uitschieterwaarschijnlijkheden gebruiken
Een alternatief voor het isoleren van uitschieters met contamination is het gebruiken van uitschieterwaarschijnlijkheden. Het fijne aan deze methode is dat je een willekeurige waarschijnlijkheidsdrempel kunt kiezen, waardoor je zo zeker kunt zijn van de voorspellingen als je wilt.
IForest en big_mart zijn al geladen.
Deze oefening maakt deel uit van de cursus
Anomaly Detection in Python
Oefeninstructies
- Bereken de waarschijnlijkheden voor zowel inliers als uitschieters.
- Haal de waarschijnlijkheden voor uitschieters eruit in
outlier_probs. - Filter de uitschieters in
outliersdoor een drempel van 70% toe te passen opoutlier_probs.
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
iforest = IForest(random_state=10).fit(big_mart)
# Calculate probabilities
probs = iforest.____
# Extract the probabilities for outliers
outlier_probs = ____[____]
# Filter for when the probability is higher than 70%
outliers = ____[____]
print(len(outliers))