Validação cruzada 5 x 5 folds

Você pode fazer mais do que apenas uma iteração de validação cruzada. A validação cruzada repetida oferece uma melhor estimativa do erro no conjunto de teste. Você também pode repetir todo o procedimento de validação cruzada. Isso leva mais tempo, mas dá muito mais conjuntos de dados fora da amostra para analisar e avaliações muito mais precisas de como o modelo se sai.

Uma das coisas ótimas sobre a função train() no caret é como é fácil executar modelos ou métodos de validação cruzada bem diferentes apenas ajustando alguns argumentos simples na chamada da função. Por exemplo, você pode repetir todo o seu procedimento de validação cruzada 5 vezes para ter mais confiança nas estimativas de acurácia fora da amostra do modelo, por exemplo:

trControl = trainControl(
  method = "repeatedcv", 
  number = 5,
  repeats = 5, 
  verboseIter = TRUE
)

Este exercício faz parte do curso

Machine Learning com caret em R

Ver curso

Instruções do exercício

Ajuste novamente o modelo de regressão linear ao conjunto de dados Boston de habitação.
Use 5 repetições de validação cruzada com 5 folds.
Imprima o modelo no console.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Fit lm model using 5 x 5-fold CV: model
model <- train(
  medv ~ ., 
  Boston,
  method = "lm",
  trControl = trainControl(
    method = "repeatedcv", 
    number = ___,
    repeats = ___, 
    verboseIter = TRUE
  )
)

# Print model to console

Editar e executar o código