caret ofrece varios métodos para comparar modelos. Todos se basan en la función resamples(). Mi favorito es el diagrama de caja y bigotes, que te permite comparar la distribución de la precisión predictiva (en este caso, AUC) para los dos modelos.

En general, te interesa el modelo con una mediana de AUC más alta y, además, un rango más pequeño entre el AUC mínimo y máximo.

Puedes crear este gráfico con la función bwplot(), que dibuja un diagrama de caja y bigotes con las puntuaciones fuera de muestra del modelo. Estos diagramas muestran la mediana de cada distribución como una línea y el rango intercuartílico como una caja alrededor de la línea de la mediana. Puedes pasar el argumento metric = "ROC" a la función bwplot() para mostrar un gráfico de las puntuaciones ROC fuera de muestra del modelo y elegir el modelo con la mediana ROC más alta.

Si no especificas una métrica para el gráfico, bwplot() representará automáticamente 3 de ellas.

Inconveniente de random forest

Machine Learning con caret en R

Ejercicio interactivo práctico