O caret oferece vários métodos para comparar modelos. Todos eles se baseiam na função resamples(). Meu favorito é o boxplot (box-and-whisker), que permite comparar a distribuição da acurácia preditiva (neste caso, AUC) para os dois modelos.

Em geral, você quer o modelo com a mediana de AUC mais alta e também um intervalo menor entre os valores mínimo e máximo de AUC.

Você pode criar esse gráfico usando a função bwplot(), que gera um boxplot dos escores fora da amostra do modelo. Boxplots mostram a mediana de cada distribuição como uma linha e o intervalo interquartil de cada distribuição como uma caixa ao redor da linha da mediana. Você pode passar o argumento metric = "ROC" para a função bwplot() para mostrar um gráfico dos escores ROC fora da amostra do modelo e escolher o modelo com a maior mediana de ROC.

Se você não especificar uma métrica para o gráfico, o bwplot() irá automaticamente plotar 3 delas.

Por que reutilizar um trainControl?

Machine Learning com caret em R

Exercício interativo prático