Personalize a avaliação do seu modelo

Criar funções de avaliação personalizadas é bem prático quando você está iterando por vários modelos. A função metric_set() do pacote yardstick pode ajudar você nisso.

Defina uma função que retorne roc_auc, accuracy, sens (sensibilidade) e spec (especificidade) e use-a para avaliar seu modelo.

O data frame aumentado lr_aug já está carregado e pronto para uso.

Este exercicio faz parte do curso

Feature Engineering em R

Ver curso

Instruções do exercicio

Defina uma função de avaliação personalizada que retorne roc_auc, accuracy, sens e spec.
Avalie seu modelo usando a nova função em lr_aug para obter as métricas que você acabou de escolher.

exercicio interativo prático

Tente este exercicio completando este código de exemplo.

# Define a custom assessment function 
class_evaluate <- ___(___, ___, sens, ___)

# Assess your model using your new function
___(___, truth = Attrition,
               estimate = .pred_class,
               .pred_No)

Editar e Executar Código

Feature Engineering em R

IntermediárioNível de habilidade

4.8+

142 reviews

You’ll wrap up the course by learning about feature engineering and machine learning techniques. You’ll begin by focusing on the problems associated with using all available features in a model and the importance of identifying irrelevant and redundant features and learning to remove these features using embedded methods such as lasso and elastic-net. Next, you’ll explore shrinkage methods such as lasso, ridge, and elastic-net, which can be used to regularize feature weights or select features by setting coefficients to zero. Finally, you’ll finish by focusing on creating an end-to-end feature engineering workflow and reviewing and practicing the previously learned concepts and functions in a small project.

Exercise 1: Reducing the model's features Exercise 2: Sifting through variable importance Exercise 3: Assessing model performance using all available predictors Exercise 4: Building a reduced model Exercise 5: Shrinkage methods Exercise 6: Manual regularization with Lasso Exercise 7: Tuning the penalty Exercise 8: Finalizing the model Exercise 9: Putting it all together Exercise 10: Prep and split Exercise 11: Preprocess Exercise 12: Model Exercise 13: Assess Exercise 14: Congratulations!