Verificando a convergência

A pontuação de anomalia de um isolation forest geralmente não muda após certo número de árvores serem crescidas. Isso é chamado de convergência e pode ser verificado comparando as pontuações geradas por florestas com diferentes números de árvores. Se as pontuações forem muito diferentes, isso pode indicar que são necessárias mais árvores.

Neste exercício, as pontuações para isolation forests com diferentes números de árvores já foram calculadas para você e estão contidas no data frame wine_scores.

Este exercício faz parte do curso

Introduction to Anomaly Detection in R

Ver curso

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# View the contents of the wine scores
head(wine_scores)

# Scatterplot of 2000 trees vs 1000 trees scores
plot(___, ___)

Editar e executar o código

Este exercício faz parte do curso

Introduction to Anomaly Detection in R

IntermediárioNível de habilidade

4.8+

22 reviews

Iniciar curso de graça

Neste capítulo, você vai aprender como resumos numéricos e gráficos podem ser usados para avaliar, de forma informal, se há pontos incomuns nos dados. Você usará um procedimento estatístico chamado teste de Grubbs para verificar se um ponto é um outlier e conhecerá o algoritmo Seasonal-Hybrid ESD, que ajuda a identificar outliers quando os dados formam uma série temporal.

Exercise 1: O que queremos dizer quando falamos em anomalias?Exercise 2: Reconhecendo tipos de anomalias Exercise 3: Explorando os dados de nitrato do rio Exercise 4: Testando os extremos com o teste de Grubbs Exercise 5: Verificação visual de normalidade Exercise 6: Teste de Grubbs Exercise 7: Caçando múltiplos outliers com o teste de Grubbs Exercise 8: Anomalias em séries temporais Exercise 9: Avaliação visual da sazonalidade Exercise 10: Algoritmo Seasonal Hybrid ESD Exercise 11: Interpretando a saída do Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus o teste de Grubbs

Neste capítulo, você vai aprender a calcular a distância dos k-vizinhos mais próximos e o local outlier factor, que são usados para construir escores contínuos de anomalia para cada ponto de dados quando há múltiplas variáveis. Você também vai entender a diferença entre anomalias locais e globais e como cada um dos dois algoritmos pode ajudar em cada caso.

Exercise 1: Pontuação de distância dos k-vizinhos mais próximos Exercise 2: Explorando vinhos Exercise 3: Matriz de distâncias kNN Exercise 4: Pontuação de distância kNN Exercise 5: Visualizando a distância kNN Exercise 6: Padronizando variáveis Exercise 7: Anexando o score de kNN Exercise 8: Visualizando a pontuação de distância kNN Exercise 9: Fator de outlier local Exercise 10: Cálculo do LOF Exercise 11: Visualização do LOF Exercise 12: LOF vs kNN

A distância dos k-vizinhos mais próximos e o local outlier factor usam a distância ou a densidade relativa dos vizinhos mais próximos para pontuar cada ponto. Neste capítulo, você vai explorar uma abordagem alternativa baseada em árvores chamada isolation forest, que é um método rápido e robusto para detectar anomalias e mede quão facilmente os pontos podem ser separados ao dividir os dados aleatoriamente em regiões cada vez menores.

Exercise 1: Árvores de isolamento Exercise 2: Ajuste e preveja com uma isolation tree Exercise 3: Interpretação de pontuações Exercise 4: Isolation forest Exercise 5: Ajustar uma isolation forest Exercise 6: Verificando a convergência

Exercício atual

Exercise 7: Visualizando o isolation score Exercise 8: Uma grade de pontos Exercise 9: Predição em uma malha Exercise 10: Curvas de anomalia

Agora você conheceu alguns algoritmos diferentes para pontuação de anomalias. Neste capítulo final, você aprenderá a comparar o desempenho de detecção dos algoritmos em situações em que existem anomalias rotuladas. Você vai calcular e interpretar as métricas de precisão (precision) e revocação (recall) de um escore de anomalia e verá como adaptar os algoritmos para acomodar dados com variáveis categóricas.

Exercise 1: Anomalias rotuladas Exercise 2: Dados de tireoide Exercise 3: Visualizing thyroid disease Exercise 4: Pontuação de anomalia Exercise 5: Medindo o desempenho Exercise 6: Pontuações binarizadas Exercise 7: Tabelar cruzado de escores binários Exercise 8: Precisão e recall da tireoide Exercise 9: Trabalhando com variáveis categóricas Exercise 10: Convertendo character para factor Exercise 11: Isolation forest com fatores Exercise 12: LOF com fatores Exercise 13: Fechamento