ComeçarComece de graça

Calcular a especificidade

Usar diferentes medidas de desempenho do modelo permite avaliá-lo com mais precisão. Existem várias métricas para diferentes casos de uso. A especificidade mede a proporção de negativos verdadeiros corretamente identificados:

$$\text{specificity} = \frac{TN}{TN + FP}$$

Essa fórmula implica que, com a especificidade se aproximando de 100%, o número de falsos positivos (FP) se aproxima de 0.

Neste exercício, você vai investigar a especificidade fora da amostra do seu modelo com validação cruzada.

Já estão pré-carregados o conjunto de treinamento do conjunto de dados de clientes de cartão de crédito, customers_train, e uma especificação de árvore de decisão, tree_spec, que foi gerada com o seguinte código:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Este exercício faz parte do curso

Machine Learning com modelos baseados em árvores em R

Ver curso

Instruções do exercício

  • Crie três dobras de validação cruzada (CV) de customers_train e salve como folds.
  • Calcule a specificity com validação cruzada usando a função fit_resamples() que recebe sua especificação tree_spec, uma fórmula de modelo, as dobras de CV e um conjunto de métricas apropriado. Use todos os preditores para prever still_customer, salvando os resultados em specificities.
  • Agregue os resultados usando uma única função.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Create CV folds of the training data
folds <- ___(customers_train, v = ___)

# Calculate CV specificity
specificities <- ___(___, 
                     ___,
                     resamples = ___,
                     metrics = ___)

# Collect the metrics
___(specificities)
Editar e executar o código