Visualiser le score de distance kNN

Le score de distance kNN peut être difficile à interpréter en se contentant de parcourir une liste de valeurs. Les nuages de points sont utiles pour visualiser ce score et comprendre son fonctionnement. Lors de l’interprétation du graphique, la taille relative du score de distance kNN est plus informative que sa valeur absolue.

Les données wine ont été chargées avec le score de distance kNN ajouté lors de l’exercice précédent.

Cet exercice fait partie du cours

<cours>Introduction à la détection d’anomalies en R</cours>

Instructions de l’exercice

Utilisez un nuage de points pour afficher pH et alcohol sur leurs échelles d’origine.
Fournissez une valeur appropriée à l’argument cex afin que la taille de chaque point soit proportionnelle à la racine carrée de score.
Ajustez l’argument du caractère de tracé pch pour que les points soient affichés en puces pleines.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Scatterplot showing pH, alcohol and kNN score
plot(pH ~ alcohol, ___, cex = ___, pch = ___)

Modifier et exécuter le code

Cet exercice fait partie du cours

<cours>Introduction à la détection d’anomalies en R</cours>

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous verrez comment des résumés numériques et graphiques peuvent servir à évaluer de manière informelle si les données contiennent des points inhabituels. Vous utiliserez une procédure statistique appelée test de Grubbs pour vérifier si un point est une valeur aberrante, et découvrirez l’algorithme Seasonal-Hybrid ESD, utile pour repérer des valeurs aberrantes lorsque les données forment une série chronologique.

Exercise 1: Que veut-on dire quand on parle d’anomalies ?Exercise 2: Reconnaître les types d’anomalies Exercise 3: Explorer les données de nitrate de rivière Exercise 4: Tester les valeurs extrêmes avec le test de Grubbs Exercise 5: Vérification visuelle de la normalité Exercise 6: Test de Grubbs Exercise 7: Traquer plusieurs valeurs aberrantes avec le test de Grubbs Exercise 8: Anomalies dans des séries temporelles Exercise 9: Évaluation visuelle de la saisonnalité Exercise 10: Algorithme Seasonal Hybrid ESD Exercise 11: Interpréter la sortie de Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus test de Grubbs

Dans ce chapitre, vous apprendrez à calculer la distance des k plus proches voisins (k-nearest neighbors) et le facteur d’isolement local (local outlier factor), qui servent à construire des scores d’anomalie continus pour chaque point lorsque les données ont plusieurs variables. Vous verrez la différence entre anomalies locales et globales et comment ces deux algorithmes peuvent aider dans chaque cas.

Exercise 1: Score de distance des k plus proches voisins Exercise 2: Explorer les vins Exercise 3: Matrice des distances kNN Exercise 4: Score de distance kNN Exercise 5: Visualiser la distance kNN Exercise 6: Standardiser les variables Exercise 7: Ajouter le score kNN Exercise 8: Visualiser le score de distance kNN

Exercice actuel

Exercise 9: Facteur d’anomalie local Exercise 10: Calcul du LOF Exercise 11: Visualisation du LOF Exercise 12: LOF vs kNN

La distance des k plus proches voisins et le facteur d’isolement local s’appuient sur la distance ou la densité relative des voisins les plus proches pour attribuer un score à chaque point. Dans ce chapitre, vous explorerez une approche alternative basée sur des arbres, appelée isolation forest, une méthode rapide et robuste de détection d’anomalies qui mesure à quel point il est facile d’isoler les points en scindant aléatoirement les données en régions de plus en plus petites.

Exercise 1: Arbres d’isolement Exercise 2: Ajuster et prédire avec un isolation tree Exercise 3: Interprétation des scores Exercise 4: Isolation Forest Exercise 5: Ajuster une isolation forest Exercise 6: Vérifier la convergence Exercise 7: Visualiser le score d’isolement Exercise 8: Une grille de points Exercise 9: Prédiction sur une grille Exercise 10: Courbes de niveau des anomalies

Vous avez maintenant découvert plusieurs algorithmes de notation d’anomalies. Dans ce dernier chapitre, vous apprendrez à comparer les performances de détection des algorithmes lorsque des anomalies étiquetées sont disponibles. Vous calculerez et interpréterez la précision (precision) et le rappel (recall) d’un score d’anomalie, et verrez comment adapter les algorithmes pour gérer des données comportant des variables catégorielles.

Exercise 1: Anomalies étiquetées Exercise 2: Données sur la thyroïde Exercise 3: Visualiser la maladie thyroïdienne Exercise 4: Score d’anomalie Exercise 5: Mesurer les performances Exercise 6: Scores binarisés Exercise 7: Croiser des scores binaires Exercise 8: Précision et rappel pour la thyroïde Exercise 9: Travailler avec des variables catégorielles Exercise 10: Convertir des chaînes de caractères en facteurs Exercise 11: Isolation forest avec variables factorielles Exercise 12: LOF avec facteurs Exercise 13: Conclusion