Define medidas agregadas

Ahora vas a definir medidas de rendimiento. El conjunto de datos knowledge_train_data ya se ha cargado por ti, al igual que los paquetes mlr y tidyverse. Además, ya se ha ejecutado el siguiente código:

task <- makeClassifTask(data = knowledge_train_data, 
                        target = "UNS")

lrn <- makeLearner(cl = "classif.nnet", fix.factors.prediction = TRUE)

param_set <- makeParamSet(
  makeIntegerParam("size", lower = 1, upper = 5),
  makeIntegerParam("maxit", lower = 1, upper = 300),
  makeNumericParam("decay", lower = 0.0001, upper = 1)
)

ctrl_random <- makeTuneControlRandom(maxit = 10)

Este ejercicio forma parte del curso

Ajuste de hiperparámetros en R

Instrucciones del ejercicio

Usa la función setAggregation, que agrega la desviación estándar de las métricas de rendimiento.
Aplica setAggregation al error medio de clasificación y a la accuracy tras el remuestreo.
Optimiza tu modelo por el error medio de clasificación. Recuerda que el primer argumento se usa para la optimización.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Create holdout sampling
holdout <- makeResampleDesc("Holdout", predict = "both")

# Perform tuning
lrn_tune <- tuneParams(learner = lrn, 
                       task = task, 
                       resampling = holdout, 
                       control = ctrl_random, 
                       par.set = param_set,
                       measures = list(___, ___(___, train.mean), ___, ___(___, train.mean)))

Editar y ejecutar código

Este ejercicio forma parte del curso

Ajuste de hiperparámetros en R

AvanzadoNivel de habilidad

4.8+

Comienza el curso gratis

¿Por qué usamos la extraña palabra «hiperparámetro»? ¿Qué lo hace “hiper”? Aquí entenderás qué son los parámetros de un modelo y por qué son diferentes de los hiperparámetros en machine learning. Después verás por qué conviene ajustarlos y cómo la configuración predeterminada de caret incluye automáticamente el ajuste de hiperparámetros.

Exercise 1: Parámetros vs hiperparámetros Exercise 2: Parámetros del modelo vs. hiperparámetros Exercise 3: Hiperparámetros en modelos lineales Exercise 4: ¿Cuáles son los coeficientes?Exercise 5: Repaso de los fundamentos de Machine Learning Exercise 6: Machine learning con caret Exercise 7: Esquemas de remuestreo Exercise 8: Ajuste de hiperparámetros en caret Exercise 9: Hiperparámetros en Stochastic Gradient Boosting Exercise 10: Cambiar el número de hiperparámetros a ajustar Exercise 11: Ajusta hiperparámetros manualmente

En este capítulo, aprenderás a ajustar hiperparámetros con una cuadrícula cartesiana. Luego, aplicarás enfoques más rápidos y eficientes. Utilizarás Random Search y remuestreo adaptativo para ajustar la cuadrícula de parámetros, concentrándote en valores cercanos a la configuración óptima.

Exercise 1: Ajuste de hiperparámetros con caret Exercise 2: Encontrar hiperparámetros Exercise 3: Búsqueda en cuadrícula cartesiana en caret Exercise 4: Representar la salida del modelo de hiperparámetros Exercise 5: Búsqueda en rejilla vs. búsqueda aleatoria Exercise 6: Búsqueda en cuadrícula con rangos de hiperparámetros Exercise 7: Encuentra la opción de train() para la búsqueda aleatoria Exercise 8: Búsqueda aleatoria con caret Exercise 9: Remuestreo adaptativo Exercise 10: Ventajas de Adaptive Resampling Exercise 11: Remuestreo adaptativo con caret

Aquí usarás otro paquete de machine learning que ofrece funciones muy prácticas para ajustar hiperparámetros. Definirás una cuadrícula cartesiana o realizarás Random Search, además de técnicas avanzadas. También aprenderás distintas formas de visualizar y evaluar modelos con diferentes hiperparámetros.

Exercise 1: Machine Learning con mlr Exercise 2: Machine Learning con mlr Exercise 3: Modelado con mlr Exercise 4: Búsqueda en rejilla y aleatoria con mlr Exercise 5: Búsqueda aleatoria con mlr Exercise 6: Realizar ajuste de hiperparámetros con mlr Exercise 7: Evaluar hiperparámetros con mlr Exercise 8: ¿Por qué evaluar el tuning?Exercise 9: Evaluating hyperparameter tuning results Exercise 10: Ajuste avanzado con mlr Exercise 11: Define controles de ajuste avanzados Exercise 12: Define medidas agregadas

Ejercicio actual

Exercise 13: Configurar hiperparámetros

En este último capítulo, usarás h2o, otro paquete de machine learning con funciones muy prácticas para ajustar hiperparámetros. Lo utilizarás para entrenar distintos modelos y definir una cuadrícula cartesiana. Después, implementarás una Random Search usando criterios de parada. Por último, aprenderás AutoML, una interfaz de h2o que permite un ajuste muy rápido y cómodo de modelos e hiperparámetros con una sola función.

Exercise 1: Machine learning con h2o Exercise 2: Prepara los datos para modelar con h2o Exercise 3: Modelado con h2o Exercise 4: Búsqueda en cuadrícula y aleatoria con h2o Exercise 5: Búsqueda en cuadrícula con h2o Exercise 6: Búsqueda aleatoria con h2o Exercise 7: Criterios de parada Exercise 8: Machine Learning automático con H2O Exercise 9: AutoML en h2o Exercise 10: Puntuando el leaderboard Exercise 11: Extrae modelos de h2o y evalúa su rendimiento Exercise 12: Resumen