Evitar los mínimos locales

El problema anterior mostraba lo fácil que es quedarse atascado en mínimos locales. Teníamos un problema de optimización simple en una variable y el descenso gradiente seguía sin dar con el mínimo global cuando teníamos que recorrer primero los mínimos locales. Una forma de evitar este problema es utilizar el impulso, que permite al optimizador superar los mínimos locales. Utilizaremos de nuevo la función de pérdida del problema anterior, que se ha definido y está a tu disposición en loss_function().

La gráfica es de una función de una sola variable que contiene múltiples mínimos locales y un mínimo global.

Varios optimizadores de tensorflow tienen un parámetro de impulso, entre ellos SGD y RMSprop. En este ejercicio utilizarás RMSprop. Observa que x_1 y x_2 se han inicializado esta vez con el mismo valor. Además, keras.optimizers.RMSprop() también ha sido importado para ti desde tensorflow.

Este ejercicio forma parte del curso

Introducción a TensorFlow en Python

Instrucciones de ejercicio

Configura la operación opt_1 para que utilice una tasa de aprendizaje de 0,01 y un impulso de 0,99.
Configura opt_2 para que utilice el optimizador de propagación cuadrática media (RMS) con una tasa de aprendizaje de 0,01 y un impulso de 0,00.
Define la operación de minimización para opt_2.
Imprime x_1 y x_2 como matrices numpy.

Ejercicio interactivo práctico

Pruebe este ejercicio completando este código de muestra.

# Initialize x_1 and x_2
x_1 = Variable(0.05,float32)
x_2 = Variable(0.05,float32)

# Define the optimization operation for opt_1 and opt_2
opt_1 = keras.optimizers.RMSprop(learning_rate=____, momentum=____)
opt_2 = ____

for j in range(100):
	opt_1.minimize(lambda: loss_function(x_1), var_list=[x_1])
    # Define the minimization operation for opt_2
	____

# Print x_1 and x_2 as numpy arrays
print(____, ____)

Editar y ejecutar código

Este ejercicio forma parte del curso

Introducción a TensorFlow en Python

IntermedioNivel de habilidad

4.9+

Comienza el curso gratis

Antes de que puedas construir modelos avanzados en TensorFlow 2, primero tendrás que entender lo básico. En este capítulo aprenderás a definir constantes y variables, a realizar sumas y multiplicaciones tensoriales y a calcular derivadas. Los conocimientos de álgebra lineal serán útiles, pero no necesarios.

Exercise 1: Constantes y variables Exercise 2: Definir datos como constantes Exercise 3: Definición de variables Exercise 4: Operaciones básicas Exercise 5: Realizar la multiplicación por elementos Exercise 6: Hacer predicciones con la multiplicación de matrices Exercise 7: Suma sobre dimensiones tensoriales Exercise 8: Operaciones avanzadas Exercise 9: Tensores de remodelación Exercise 10: Optimizar con gradientes Exercise 11: Trabajar con datos de imagen

En este capítulo aprenderás a construir, resolver y hacer predicciones con modelos en TensorFlow 2. Te centrarás en una clase sencilla de modelos -el modelo de regresión lineal- e intentarás predecir los precios de la vivienda. Al final del capítulo, sabrás cómo cargar y manipular datos, construir funciones de pérdida, realizar minimizaciones, hacer predicciones y reducir el uso de recursos con el entrenamiento por lotes.

Exercise 1: Datos de entrada Exercise 2: Cargar datos con pandas Exercise 3: Establecer el tipo de datos Exercise 4: Funciones de pérdida Exercise 5: Funciones de pérdida en TensorFlow Exercise 6: Modificar la función de pérdida Exercise 7: Regresión lineal Exercise 8: Establece una regresión lineal Exercise 9: Entrenar un modelo lineal Exercise 10: Regresión lineal múltiple Exercise 11: Formación por lotes Exercise 12: Preparándose para la formación por lotes Exercise 13: Entrenar un modelo lineal por lotes

Los capítulos anteriores te enseñaron a construir modelos en TensorFlow 2. En este capítulo, aplicarás esas mismas herramientas para construir, entrenar y hacer predicciones con redes neuronales. Aprenderás a definir capas densas, aplicar funciones de activación, seleccionar un optimizador y aplicar la regularización para reducir el sobreajuste. Aprovecharás la flexibilidad de TensorFlow utilizando tanto el álgebra lineal de bajo nivel como las operaciones de alto nivel de Keras API para definir y entrenar modelos.

Exercise 1: Capas densas Exercise 2: El álgebra lineal de las capas densas Exercise 3: El enfoque de bajo nivel con múltiples ejemplos Exercise 4: Utilizar la operación de capa densa Exercise 5: Funciones de activación Exercise 6: Problemas de clasificación binaria Exercise 7: Problemas de clasificación multiclase Exercise 8: Optimizadores Exercise 9: Los peligros de los mínimos locales Exercise 10: Evitar los mínimos locales

Ejercicio actual

Exercise 11: Entrenar una red en TensorFlow Exercise 12: Inicialización en TensorFlow Exercise 13: Definición del modelo y de la función de pérdida Exercise 14: Entrenar redes neuronales con TensorFlow

En el último capítulo, utilizarás APIs de alto nivel en TensorFlow 2 para entrenar un clasificador de letras del lenguaje de signos. Utilizarás tanto el Keras secuencial como el funcional APIs para entrenar, validar, hacer predicciones y evaluar modelos. También aprenderás a utilizar los Estimadores API para agilizar el proceso de definición y entrenamiento del modelo, y evitar errores.

Exercise 1: Definir redes neuronales con Keras Exercise 2: El modelo secuencial en Keras Exercise 3: Compilar un modelo secuencial Exercise 4: Definir un modelo de entradas múltiples Exercise 5: Entrenamiento y validación con Keras Exercise 6: Entrenamiento con Keras Exercise 7: Métricas y validación con Keras Exercise 8: Detección de sobreajuste Exercise 9: Evaluar modelos Exercise 10: Entrenar modelos con los Estimadores API Exercise 11: Preparar la formación con Estimadores Exercise 12: Definición de los estimadores Exercise 13: ¡Enhorabuena!