Visualizando a pontuação de distância kNN

A pontuação de distância kNN pode ser difícil de interpretar só olhando os valores. É útil usar diagramas de dispersão para visualizar essa pontuação e entender como ela funciona. Ao interpretar o gráfico, o tamanho relativo da pontuação de distância kNN é mais informativo do que o valor absoluto.

Os dados wine foram carregados com a pontuação de distância kNN adicionada do exercício anterior.

Este exercício faz parte do curso

Introduction to Anomaly Detection in R

Instruções do exercício

Use um diagrama de dispersão para mostrar pH e alcohol nas suas escalas originais.
Forneça um valor adequado para o argumento cex para que cada ponto seja proporcional em tamanho à raiz quadrada de score.
Ajuste o argumento do caractere de plotagem pch para que os pontos sejam mostrados como marcadores sólidos.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Scatterplot showing pH, alcohol and kNN score
plot(pH ~ alcohol, ___, cex = ___, pch = ___)

Editar e executar o código

Este exercício faz parte do curso

Introduction to Anomaly Detection in R

IntermediárioNível de habilidade

4.8+

Iniciar curso de graça

Neste capítulo, você vai aprender como resumos numéricos e gráficos podem ser usados para avaliar, de forma informal, se há pontos incomuns nos dados. Você usará um procedimento estatístico chamado teste de Grubbs para verificar se um ponto é um outlier e conhecerá o algoritmo Seasonal-Hybrid ESD, que ajuda a identificar outliers quando os dados formam uma série temporal.

Exercise 1: O que queremos dizer quando falamos em anomalias?Exercise 2: Reconhecendo tipos de anomalias Exercise 3: Explorando os dados de nitrato do rio Exercise 4: Testando os extremos com o teste de Grubbs Exercise 5: Verificação visual de normalidade Exercise 6: Teste de Grubbs Exercise 7: Caçando múltiplos outliers com o teste de Grubbs Exercise 8: Anomalias em séries temporais Exercise 9: Avaliação visual da sazonalidade Exercise 10: Algoritmo Seasonal Hybrid ESD Exercise 11: Interpretando a saída do Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus o teste de Grubbs

Neste capítulo, você vai aprender a calcular a distância dos k-vizinhos mais próximos e o local outlier factor, que são usados para construir escores contínuos de anomalia para cada ponto de dados quando há múltiplas variáveis. Você também vai entender a diferença entre anomalias locais e globais e como cada um dos dois algoritmos pode ajudar em cada caso.

Exercise 1: Pontuação de distância dos k-vizinhos mais próximos Exercise 2: Explorando vinhos Exercise 3: Matriz de distâncias kNN Exercise 4: Pontuação de distância kNN Exercise 5: Visualizando a distância kNN Exercise 6: Padronizando variáveis Exercise 7: Anexando o score de kNN Exercise 8: Visualizando a pontuação de distância kNN

Exercício atual

Exercise 9: Fator de outlier local Exercise 10: Cálculo do LOF Exercise 11: Visualização do LOF Exercise 12: LOF vs kNN

A distância dos k-vizinhos mais próximos e o local outlier factor usam a distância ou a densidade relativa dos vizinhos mais próximos para pontuar cada ponto. Neste capítulo, você vai explorar uma abordagem alternativa baseada em árvores chamada isolation forest, que é um método rápido e robusto para detectar anomalias e mede quão facilmente os pontos podem ser separados ao dividir os dados aleatoriamente em regiões cada vez menores.

Exercise 1: Árvores de isolamento Exercise 2: Ajuste e preveja com uma isolation tree Exercise 3: Interpretação de pontuações Exercise 4: Isolation forest Exercise 5: Ajustar uma isolation forest Exercise 6: Verificando a convergência Exercise 7: Visualizando o isolation score Exercise 8: Uma grade de pontos Exercise 9: Predição em uma malha Exercise 10: Curvas de anomalia

Agora você conheceu alguns algoritmos diferentes para pontuação de anomalias. Neste capítulo final, você aprenderá a comparar o desempenho de detecção dos algoritmos em situações em que existem anomalias rotuladas. Você vai calcular e interpretar as métricas de precisão (precision) e revocação (recall) de um escore de anomalia e verá como adaptar os algoritmos para acomodar dados com variáveis categóricas.

Exercise 1: Anomalias rotuladas Exercise 2: Dados de tireoide Exercise 3: Visualizing thyroid disease Exercise 4: Pontuação de anomalia Exercise 5: Medindo o desempenho Exercise 6: Pontuações binarizadas Exercise 7: Tabelar cruzado de escores binários Exercise 8: Precisão e recall da tireoide Exercise 9: Trabalhando com variáveis categóricas Exercise 10: Convertendo character para factor Exercise 11: Isolation forest com fatores Exercise 12: LOF com fatores Exercise 13: Fechamento