Explorando os dados de nitrato do rio

Neste exercício, você vai explorar o conjunto de dados river, que será usado ao longo deste capítulo para ilustrar o uso de técnicas comuns de detecção de anomalias. Os dados river estão em um data.frame com as três colunas a seguir:

index - inteiros que descrevem a ordem das observações de nitrate
nitrate - concentrações mensais de nitrato dissolvido encontradas em um rio
month - um fator contendo o mês de cada observação de nitrate

Você vai explorar a coluna nitrate usando estatísticas descritivas e boxplots para avaliar se pode haver anomalias pontuais presentes.

Este exercício faz parte do curso

Introduction to Anomaly Detection in R

Ver curso

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Explore contents of dataset
___(___)

Editar e executar o código

Este exercício faz parte do curso

Introduction to Anomaly Detection in R

IntermediárioNível de habilidade

4.8+

22 reviews

Iniciar curso de graça

Neste capítulo, você vai aprender como resumos numéricos e gráficos podem ser usados para avaliar, de forma informal, se há pontos incomuns nos dados. Você usará um procedimento estatístico chamado teste de Grubbs para verificar se um ponto é um outlier e conhecerá o algoritmo Seasonal-Hybrid ESD, que ajuda a identificar outliers quando os dados formam uma série temporal.

Exercise 1: O que queremos dizer quando falamos em anomalias?Exercise 2: Reconhecendo tipos de anomalias Exercise 3: Explorando os dados de nitrato do rio

Exercício atual

Exercise 4: Testando os extremos com o teste de Grubbs Exercise 5: Verificação visual de normalidade Exercise 6: Teste de Grubbs Exercise 7: Caçando múltiplos outliers com o teste de Grubbs Exercise 8: Anomalias em séries temporais Exercise 9: Avaliação visual da sazonalidade Exercise 10: Algoritmo Seasonal Hybrid ESD Exercise 11: Interpretando a saída do Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus o teste de Grubbs

Neste capítulo, você vai aprender a calcular a distância dos k-vizinhos mais próximos e o local outlier factor, que são usados para construir escores contínuos de anomalia para cada ponto de dados quando há múltiplas variáveis. Você também vai entender a diferença entre anomalias locais e globais e como cada um dos dois algoritmos pode ajudar em cada caso.

Exercise 1: Pontuação de distância dos k-vizinhos mais próximos Exercise 2: Explorando vinhos Exercise 3: Matriz de distâncias kNN Exercise 4: Pontuação de distância kNN Exercise 5: Visualizando a distância kNN Exercise 6: Padronizando variáveis Exercise 7: Anexando o score de kNN Exercise 8: Visualizando a pontuação de distância kNN Exercise 9: Fator de outlier local Exercise 10: Cálculo do LOF Exercise 11: Visualização do LOF Exercise 12: LOF vs kNN

A distância dos k-vizinhos mais próximos e o local outlier factor usam a distância ou a densidade relativa dos vizinhos mais próximos para pontuar cada ponto. Neste capítulo, você vai explorar uma abordagem alternativa baseada em árvores chamada isolation forest, que é um método rápido e robusto para detectar anomalias e mede quão facilmente os pontos podem ser separados ao dividir os dados aleatoriamente em regiões cada vez menores.

Exercise 1: Árvores de isolamento Exercise 2: Ajuste e preveja com uma isolation tree Exercise 3: Interpretação de pontuações Exercise 4: Isolation forest Exercise 5: Ajustar uma isolation forest Exercise 6: Verificando a convergência Exercise 7: Visualizando o isolation score Exercise 8: Uma grade de pontos Exercise 9: Predição em uma malha Exercise 10: Curvas de anomalia

Agora você conheceu alguns algoritmos diferentes para pontuação de anomalias. Neste capítulo final, você aprenderá a comparar o desempenho de detecção dos algoritmos em situações em que existem anomalias rotuladas. Você vai calcular e interpretar as métricas de precisão (precision) e revocação (recall) de um escore de anomalia e verá como adaptar os algoritmos para acomodar dados com variáveis categóricas.

Exercise 1: Anomalias rotuladas Exercise 2: Dados de tireoide Exercise 3: Visualizing thyroid disease Exercise 4: Pontuação de anomalia Exercise 5: Medindo o desempenho Exercise 6: Pontuações binarizadas Exercise 7: Tabelar cruzado de escores binários Exercise 8: Precisão e recall da tireoide Exercise 9: Trabalhando com variáveis categóricas Exercise 10: Convertendo character para factor Exercise 11: Isolation forest com fatores Exercise 12: LOF com fatores Exercise 13: Fechamento