Experimentar con la tasa de aprendizaje

En este ejercicio, tu objetivo es encontrar la tasa de aprendizaje óptima de tal manera que el optimizador pueda encontrar el mínimo de la función no convexa \(x^{4} + x^{3} - 5x^{2}\) en diez pasos.

Experimentarás con tres valores diferentes de tasa de aprendizaje. Para este problema, prueba valores de tasa de aprendizaje entre 0,001 y 0,1.

Se te proporciona la función optimize_and_plot(), que toma la tasa de aprendizaje como primer argumento. Esta función ejecutará 10 pasos del optimizador SGD y mostrará los resultados.

Este ejercicio forma parte del curso

Introducción al aprendizaje profundo con PyTorch

Ejercicio interactivo práctico

Prueba este ejercicio completando el código de muestra.

# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)

Editar y ejecutar código

Este ejercicio forma parte del curso

Introducción al aprendizaje profundo con PyTorch

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

Vehículos autónomos, smartphones, motores de búsqueda... El <i>deep learning</i> o aprendizaje profundo está ahora en todas partes. Antes de empezar a crear modelos complejos, te familiarizarás con PyTorch, un marco de aprendizaje profundo. Aprenderás a manipular tensores, crear estructuras de datos de PyTorch y construir tu primera red neuronal en PyTorch con capas lineales.

Exercise 1: Introducción al aprendizaje profundo con PyTorch Exercise 2: Introducción a los tensores de PyTorch Exercise 3: Comprobar y sumar tensores Exercise 4: Redes neuronales y capas Exercise 5: Red de capas lineales Exercise 6: Comprender los pesos Exercise 7: Capas y parámetros ocultos Exercise 8: Tu primera red neuronal Exercise 9: Apilar capas lineales Exercise 10: Contar el número de parámetros

Para entrenar una red neuronal en PyTorch, primero tendrás que entender componentes adicionales, como las funciones de activación y pérdida. Entonces te darás cuenta de que entrenar una red requiere reducir al mínimo esa función de pérdida, lo que se hace calculando gradientes. Aprenderás a utilizar estos gradientes para actualizar los parámetros de tu modelo.

Exercise 1: Descubrir las funciones de activación Exercise 2: ¡Activa tu comprensión!Exercise 3: Las funciones sigmoide y softmax Exercise 4: Ejecutar un pase hacia adelante Exercise 5: Crear un clasificador binario en PyTorch Exercise 6: De la regresión a la clasificación multiclase Exercise 7: Utilizar funciones de pérdida para evaluar las previsiones del modelo Exercise 8: Creación de etiquetas con programación one-hot Exercise 9: Cálculo de la pérdida de entropía cruzada Exercise 10: Utilizar derivadas para actualizar los parámetros del modelo Exercise 11: Acceso a los parámetros del modelo Exercise 12: Actualización manual de los pesos Exercise 13: Uso del optimizador PyTorch

Ahora que has aprendido los componentes clave de una red neuronal, entrenarás una utilizando un bucle de entrenamiento. Explorarás posibles problemas, como la desaparición de gradientes, y aprenderás estrategias para resolverlos, como funciones de activación alternativas y el ajuste de la tasa de aprendizaje y el impulso.

Exercise 1: Una inmersión más profunda en la carga de datos Exercise 2: Utilizar TensorDataset Exercise 3: Uso de DataLoader Exercise 4: Escribir nuestro primer bucle de entrenamiento Exercise 5: Utilizar el MSELoss Exercise 6: Escribir un bucle de entrenamiento Exercise 7: Funciones de activación ReLU Exercise 8: Implantación de ReLU Exercise 9: Implementación de Leaky ReLU Exercise 10: Comprender las funciones de activación Exercise 11: Ritmo de aprendizaje e impulso Exercise 12: Experimentar con la tasa de aprendizaje

Ejercicio actual

Exercise 13: Experimentar con el impulso

Entrenar un modelo de aprendizaje profundo es un arte, y para asegurarnos de que nuestro modelo se entrene correctamente, necesitamos hacer un seguimiento de ciertos parámetros durante el entrenamiento, como la pérdida o la exactitud. Aprenderemos a calcular estas métricas y a reducir el sobreajuste.

Exercise 1: Inicialización de capas y aprendizaje por transferencia Exercise 2: Proceso de ajuste Exercise 3: Congelar capas de un modelo Exercise 4: Inicialización de capas Exercise 5: Evaluación del rendimiento de los modelos Exercise 6: Escribir el bucle de evaluación Exercise 7: Cálculo de la exactitud mediante TorchMetrics Exercise 8: Lucha contra el sobreajuste Exercise 9: Experimentar con el abandono Exercise 10: Comprender el sobreajuste Exercise 11: Mejorar el rendimiento del modelo Exercise 12: Implementación de la búsqueda aleatoria Exercise 13: Vídeo de recapitulación