Evitar mínimos locales

El ejercicio anterior mostró lo fácil que es quedarse atascado en mínimos locales. Teníamos un problema de optimización sencillo en una variable y, aun así, el descenso por gradiente no logró alcanzar el mínimo global cuando antes había que atravesar mínimos locales. Una forma de evitar este problema es usar momentum, que permite al optimizador superar los mínimos locales. Vamos a reutilizar la función de pérdida del ejercicio anterior, que ya está definida y disponible como loss_function().

La gráfica corresponde a una función de una sola variable que contiene múltiples mínimos locales y un mínimo global.

Varios optimizadores en tensorflow tienen un parámetro de momentum, como SGD y RMSprop. En este ejercicio usarás RMSprop. Ten en cuenta que x_1 y x_2 se han inicializado con el mismo valor esta vez. Además, keras.optimizers.RMSprop() también se ha importado por ti desde tensorflow.

Este ejercicio forma parte del curso

Introducción a TensorFlow en Python

Instrucciones del ejercicio

Configura la operación opt_1 para usar una tasa de aprendizaje de 0.01 y un momentum de 0.99.
Configura opt_2 para usar el optimizador de propagación de la media cuadrática (RMS) con una tasa de aprendizaje de 0.01 y un momentum de 0.00.
Define la operación de minimización para opt_2.
Imprime x_1 y x_2 como arrays de numpy.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Initialize x_1 and x_2
x_1 = Variable(0.05,float32)
x_2 = Variable(0.05,float32)

# Define the optimization operation for opt_1 and opt_2
opt_1 = keras.optimizers.RMSprop(learning_rate=____, momentum=____)
opt_2 = ____

for j in range(100):
	opt_1.minimize(lambda: loss_function(x_1), var_list=[x_1])
    # Define the minimization operation for opt_2
	____

# Print x_1 and x_2 as numpy arrays
print(____, ____)

Editar y ejecutar código

Este ejercicio forma parte del curso

Introducción a TensorFlow en Python

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

Antes de poder crear modelos avanzados en TensorFlow 2, primero necesitas entender lo básico. En este capítulo, aprenderás a definir constantes y variables, realizar sumas y multiplicaciones de tensores y calcular derivadas. Tener conocimientos de álgebra lineal te ayudará, pero no es imprescindible.

Exercise 1: Constantes y variables Exercise 2: Definir datos como constantes Exercise 3: Definir variables Exercise 4: Operaciones básicas Exercise 5: Multiplicación elemento a elemento Exercise 6: Hacer predicciones con multiplicación de matrices Exercise 7: Sumar sobre dimensiones de tensores Exercise 8: Operaciones avanzadas Exercise 9: Cambiar la forma de tensores Exercise 10: Optimización con gradientes Exercise 11: Trabajar con datos de imagen

En este capítulo, aprenderás a construir, resolver y hacer predicciones con modelos en TensorFlow 2. Te centrarás en una clase simple de modelos —el modelo de regresión lineal— e intentarás predecir precios de viviendas. Al finalizar, sabrás cargar y manipular datos, construir funciones de pérdida, realizar minimización, hacer predicciones y reducir el uso de recursos con entrenamiento por lotes.

Exercise 1: Datos de entrada Exercise 2: Cargar datos con pandas Exercise 3: Configurar el tipo de dato Exercise 4: Funciones de pérdida Exercise 5: Funciones de pérdida en TensorFlow Exercise 6: Modificar la función de pérdida Exercise 7: Regresión lineal Exercise 8: Configura una regresión lineal Exercise 9: Entrena un modelo lineal Exercise 10: Regresión lineal múltiple Exercise 11: Entrenamiento por lotes Exercise 12: Preparar el entrenamiento por lotes Exercise 13: Entrenar un modelo lineal por lotes

En los capítulos anteriores has aprendido a crear modelos en TensorFlow 2. En este capítulo, aplicarás esas mismas herramientas para construir, entrenar y hacer predicciones con redes neuronales. Aprenderás a definir capas densas, aplicar funciones de activación, elegir un optimizador y aplicar regularización para reducir el sobreajuste. Aprovecharás la flexibilidad de TensorFlow utilizando tanto operaciones de álgebra lineal de bajo nivel como operaciones de la API Keras de alto nivel para definir y entrenar modelos.

Exercise 1: Capas densas Exercise 2: Álgebra lineal de las capas densas Exercise 3: El enfoque de bajo nivel con múltiples ejemplos Exercise 4: Usar la operación de capa densa Exercise 5: Funciones de activación Exercise 6: Problemas de clasificación binaria Exercise 7: Problemas de clasificación multiclase Exercise 8: Optimizadores Exercise 9: Los peligros de los mínimos locales Exercise 10: Evitar mínimos locales

Ejercicio actual

Exercise 11: Entrenar una red en TensorFlow Exercise 12: Inicialización en TensorFlow Exercise 13: Definir el modelo y la función de pérdida Exercise 14: Entrenar redes neuronales con TensorFlow

En el capítulo final, usarás APIs de alto nivel en TensorFlow 2 para entrenar un clasificador de letras en lenguaje de signos. Utilizarás las APIs secuencial y funcional de Keras para entrenar, validar, hacer predicciones y evaluar modelos. También aprenderás a usar la API de Estimators para agilizar la definición y el entrenamiento de modelos, y evitar errores.

Exercise 1: Definir redes neuronales con Keras Exercise 2: El modelo secuencial en Keras Exercise 3: Compilar un modelo secuencial Exercise 4: Definir un modelo con múltiples entradas Exercise 5: Entrenamiento y validación con Keras Exercise 6: Entrenamiento con Keras Exercise 7: Métricas y validación con Keras Exercise 8: Detección de sobreajuste Exercise 9: Evaluación de modelos Exercise 10: Entrenar modelos con la API de Estimators Exercise 11: Prepararte para entrenar con Estimators Exercise 12: Definiendo Estimators Exercise 13: ¡Enhorabuena!