Cálculo do LOF

kNN é útil para encontrar anomalias globais, mas tem mais dificuldade em identificar outliers locais. Neste exercício, você vai praticar o uso da função lof() para calcular fatores de anomalia local para os dados de wine.

lof() tem os argumentos:

x: os dados para pontuação,
k: o número de vizinhos usados para calcular o LOF.

Este exercício faz parte do curso

Introduction to Anomaly Detection in R

Ver curso

Instruções do exercício

Calcule o fator de anomalia local usando os 5 vizinhos mais próximos.
Anexe o LOF ao conjunto de dados wine como uma nova coluna chamada score.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Calculate the LOF for wine data
wine_lof <- lof(___, ___)

# Append the LOF score as a new column
___$score <- ___

Editar e executar o código

Este exercício faz parte do curso

Introduction to Anomaly Detection in R

IntermediárioNível de habilidade

4.8+

22 reviews

Iniciar curso de graça

Neste capítulo, você vai aprender como resumos numéricos e gráficos podem ser usados para avaliar, de forma informal, se há pontos incomuns nos dados. Você usará um procedimento estatístico chamado teste de Grubbs para verificar se um ponto é um outlier e conhecerá o algoritmo Seasonal-Hybrid ESD, que ajuda a identificar outliers quando os dados formam uma série temporal.

Exercise 1: O que queremos dizer quando falamos em anomalias?Exercise 2: Reconhecendo tipos de anomalias Exercise 3: Explorando os dados de nitrato do rio Exercise 4: Testando os extremos com o teste de Grubbs Exercise 5: Verificação visual de normalidade Exercise 6: Teste de Grubbs Exercise 7: Caçando múltiplos outliers com o teste de Grubbs Exercise 8: Anomalias em séries temporais Exercise 9: Avaliação visual da sazonalidade Exercise 10: Algoritmo Seasonal Hybrid ESD Exercise 11: Interpretando a saída do Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus o teste de Grubbs

Neste capítulo, você vai aprender a calcular a distância dos k-vizinhos mais próximos e o local outlier factor, que são usados para construir escores contínuos de anomalia para cada ponto de dados quando há múltiplas variáveis. Você também vai entender a diferença entre anomalias locais e globais e como cada um dos dois algoritmos pode ajudar em cada caso.

Exercise 1: Pontuação de distância dos k-vizinhos mais próximos Exercise 2: Explorando vinhos Exercise 3: Matriz de distâncias kNN Exercise 4: Pontuação de distância kNN Exercise 5: Visualizando a distância kNN Exercise 6: Padronizando variáveis Exercise 7: Anexando o score de kNN Exercise 8: Visualizando a pontuação de distância kNN Exercise 9: Fator de outlier local Exercise 10: Cálculo do LOF

Exercício atual

Exercise 11: Visualização do LOF Exercise 12: LOF vs kNN

A distância dos k-vizinhos mais próximos e o local outlier factor usam a distância ou a densidade relativa dos vizinhos mais próximos para pontuar cada ponto. Neste capítulo, você vai explorar uma abordagem alternativa baseada em árvores chamada isolation forest, que é um método rápido e robusto para detectar anomalias e mede quão facilmente os pontos podem ser separados ao dividir os dados aleatoriamente em regiões cada vez menores.

Exercise 1: Árvores de isolamento Exercise 2: Ajuste e preveja com uma isolation tree Exercise 3: Interpretação de pontuações Exercise 4: Isolation forest Exercise 5: Ajustar uma isolation forest Exercise 6: Verificando a convergência Exercise 7: Visualizando o isolation score Exercise 8: Uma grade de pontos Exercise 9: Predição em uma malha Exercise 10: Curvas de anomalia

Agora você conheceu alguns algoritmos diferentes para pontuação de anomalias. Neste capítulo final, você aprenderá a comparar o desempenho de detecção dos algoritmos em situações em que existem anomalias rotuladas. Você vai calcular e interpretar as métricas de precisão (precision) e revocação (recall) de um escore de anomalia e verá como adaptar os algoritmos para acomodar dados com variáveis categóricas.

Exercise 1: Anomalias rotuladas Exercise 2: Dados de tireoide Exercise 3: Visualizing thyroid disease Exercise 4: Pontuação de anomalia Exercise 5: Medindo o desempenho Exercise 6: Pontuações binarizadas Exercise 7: Tabelar cruzado de escores binários Exercise 8: Precisão e recall da tireoide Exercise 9: Trabalhando com variáveis categóricas Exercise 10: Convertendo character para factor Exercise 11: Isolation forest com fatores Exercise 12: LOF com fatores Exercise 13: Fechamento