Visualização do LOF

Assim como na pontuação por distância kNN, um diagrama de dispersão pode ser um ótimo recurso visual para entender por que um ponto recebeu uma pontuação baixa ou alta. Neste exercício, a pontuação LOF é visualizada escalando o tamanho dos pontos de acordo com o valor da pontuação. Você deve notar algumas diferenças na localização dos pontos com maiores pontuações em comparação à distância kNN.

Os dados wine deste exercício já contêm a coluna score adicionada no exercício anterior.

Este exercício faz parte do curso

Introduction to Anomaly Detection in R

Instruções do exercício

Use um diagrama de dispersão para mostrar pH versus alcohol a partir dos dados wine. Os pontos devem aparecer como marcadores sólidos cujo tamanho depende da pontuação LOF.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Scatterplot showing pH, alcohol and LOF score
plot(pH ~ alcohol, ___)

Editar e executar o código

Este exercício faz parte do curso

Introduction to Anomaly Detection in R

IntermediárioNível de habilidade

4.8+

Iniciar curso de graça

Neste capítulo, você vai aprender como resumos numéricos e gráficos podem ser usados para avaliar, de forma informal, se há pontos incomuns nos dados. Você usará um procedimento estatístico chamado teste de Grubbs para verificar se um ponto é um outlier e conhecerá o algoritmo Seasonal-Hybrid ESD, que ajuda a identificar outliers quando os dados formam uma série temporal.

Exercise 1: O que queremos dizer quando falamos em anomalias?Exercise 2: Reconhecendo tipos de anomalias Exercise 3: Explorando os dados de nitrato do rio Exercise 4: Testando os extremos com o teste de Grubbs Exercise 5: Verificação visual de normalidade Exercise 6: Teste de Grubbs Exercise 7: Caçando múltiplos outliers com o teste de Grubbs Exercise 8: Anomalias em séries temporais Exercise 9: Avaliação visual da sazonalidade Exercise 10: Algoritmo Seasonal Hybrid ESD Exercise 11: Interpretando a saída do Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus o teste de Grubbs

Neste capítulo, você vai aprender a calcular a distância dos k-vizinhos mais próximos e o local outlier factor, que são usados para construir escores contínuos de anomalia para cada ponto de dados quando há múltiplas variáveis. Você também vai entender a diferença entre anomalias locais e globais e como cada um dos dois algoritmos pode ajudar em cada caso.

Exercise 1: Pontuação de distância dos k-vizinhos mais próximos Exercise 2: Explorando vinhos Exercise 3: Matriz de distâncias kNN Exercise 4: Pontuação de distância kNN Exercise 5: Visualizando a distância kNN Exercise 6: Padronizando variáveis Exercise 7: Anexando o score de kNN Exercise 8: Visualizando a pontuação de distância kNN Exercise 9: Fator de outlier local Exercise 10: Cálculo do LOF Exercise 11: Visualização do LOF

Exercício atual

Exercise 12: LOF vs kNN

A distância dos k-vizinhos mais próximos e o local outlier factor usam a distância ou a densidade relativa dos vizinhos mais próximos para pontuar cada ponto. Neste capítulo, você vai explorar uma abordagem alternativa baseada em árvores chamada isolation forest, que é um método rápido e robusto para detectar anomalias e mede quão facilmente os pontos podem ser separados ao dividir os dados aleatoriamente em regiões cada vez menores.

Exercise 1: Árvores de isolamento Exercise 2: Ajuste e preveja com uma isolation tree Exercise 3: Interpretação de pontuações Exercise 4: Isolation forest Exercise 5: Ajustar uma isolation forest Exercise 6: Verificando a convergência Exercise 7: Visualizando o isolation score Exercise 8: Uma grade de pontos Exercise 9: Predição em uma malha Exercise 10: Curvas de anomalia

Agora você conheceu alguns algoritmos diferentes para pontuação de anomalias. Neste capítulo final, você aprenderá a comparar o desempenho de detecção dos algoritmos em situações em que existem anomalias rotuladas. Você vai calcular e interpretar as métricas de precisão (precision) e revocação (recall) de um escore de anomalia e verá como adaptar os algoritmos para acomodar dados com variáveis categóricas.

Exercise 1: Anomalias rotuladas Exercise 2: Dados de tireoide Exercise 3: Visualizing thyroid disease Exercise 4: Pontuação de anomalia Exercise 5: Medindo o desempenho Exercise 6: Pontuações binarizadas Exercise 7: Tabelar cruzado de escores binários Exercise 8: Precisão e recall da tireoide Exercise 9: Trabalhando com variáveis categóricas Exercise 10: Convertendo character para factor Exercise 11: Isolation forest com fatores Exercise 12: LOF com fatores Exercise 13: Fechamento