Los peligros de los mínimos locales

Considera el gráfico de la siguiente función de pérdida, loss_function(), que contiene un mínimo global, marcado por el punto de la derecha, y varios mínimos locales, incluido el marcado por el punto de la izquierda.

La gráfica es de una función de una sola variable que contiene múltiples mínimos locales y un mínimo global.

En este ejercicio, intentarás encontrar el mínimo global de loss_function() utilizando keras.optimizers.SGD(). Harás esto dos veces, cada vez con un valor inicial diferente de la entrada a loss_function(). En primer lugar, utilizarás x_1, que es una variable con un valor inicial de 6,0. En segundo lugar, utilizarás x_2, que es una variable con un valor inicial de 0,3. Ten en cuenta que loss_function() se ha definido y está disponible.

Este ejercicio forma parte del curso

Introducción a TensorFlow en Python

Instrucciones de ejercicio

Configura opt para utilizar el optimizador de descenso de gradiente estocástico (SGD) con una tasa de aprendizaje de 0,01.
Realiza la minimización utilizando la función de pérdida, loss_function(), y la variable con un valor inicial de 6,0, x_1.
Realiza la minimización utilizando la función de pérdida, loss_function(), y la variable con un valor inicial de 0,3, x_2.
Imprime x_1 y x_2 como matrices numpy y comprueba si los valores difieren. Estos son los mínimos que identificó el algoritmo.

Ejercicio interactivo práctico

Pruebe este ejercicio completando este código de muestra.

# Initialize x_1 and x_2
x_1 = Variable(6.0,float32)
x_2 = Variable(0.3,float32)

# Define the optimization operation
opt = keras.optimizers.____(learning_rate=____)

for j in range(100):
	# Perform minimization using the loss function and x_1
	opt.minimize(lambda: loss_function(____), var_list=[____])
	# Perform minimization using the loss function and x_2
	opt.minimize(lambda: ____, var_list=[____])

# Print x_1 and x_2 as numpy arrays
print(____.numpy(), ____.numpy())

Editar y ejecutar código

Este ejercicio forma parte del curso

Introducción a TensorFlow en Python

IntermedioNivel de habilidad

5.0+

Comienza el curso gratis

Antes de que puedas construir modelos avanzados en TensorFlow 2, primero tendrás que entender lo básico. En este capítulo aprenderás a definir constantes y variables, a realizar sumas y multiplicaciones tensoriales y a calcular derivadas. Los conocimientos de álgebra lineal serán útiles, pero no necesarios.

Exercise 1: Constantes y variables Exercise 2: Definir datos como constantes Exercise 3: Definición de variables Exercise 4: Operaciones básicas Exercise 5: Realizar la multiplicación por elementos Exercise 6: Hacer predicciones con la multiplicación de matrices Exercise 7: Suma sobre dimensiones tensoriales Exercise 8: Operaciones avanzadas Exercise 9: Tensores de remodelación Exercise 10: Optimizar con gradientes Exercise 11: Trabajar con datos de imagen

En este capítulo aprenderás a construir, resolver y hacer predicciones con modelos en TensorFlow 2. Te centrarás en una clase sencilla de modelos -el modelo de regresión lineal- e intentarás predecir los precios de la vivienda. Al final del capítulo, sabrás cómo cargar y manipular datos, construir funciones de pérdida, realizar minimizaciones, hacer predicciones y reducir el uso de recursos con el entrenamiento por lotes.

Exercise 1: Datos de entrada Exercise 2: Cargar datos con pandas Exercise 3: Establecer el tipo de datos Exercise 4: Funciones de pérdida Exercise 5: Funciones de pérdida en TensorFlow Exercise 6: Modificar la función de pérdida Exercise 7: Regresión lineal Exercise 8: Establece una regresión lineal Exercise 9: Entrenar un modelo lineal Exercise 10: Regresión lineal múltiple Exercise 11: Formación por lotes Exercise 12: Preparándose para la formación por lotes Exercise 13: Entrenar un modelo lineal por lotes

Los capítulos anteriores te enseñaron a construir modelos en TensorFlow 2. En este capítulo, aplicarás esas mismas herramientas para construir, entrenar y hacer predicciones con redes neuronales. Aprenderás a definir capas densas, aplicar funciones de activación, seleccionar un optimizador y aplicar la regularización para reducir el sobreajuste. Aprovecharás la flexibilidad de TensorFlow utilizando tanto el álgebra lineal de bajo nivel como las operaciones de alto nivel de Keras API para definir y entrenar modelos.

Exercise 1: Capas densas Exercise 2: El álgebra lineal de las capas densas Exercise 3: El enfoque de bajo nivel con múltiples ejemplos Exercise 4: Utilizar la operación de capa densa Exercise 5: Funciones de activación Exercise 6: Problemas de clasificación binaria Exercise 7: Problemas de clasificación multiclase Exercise 8: Optimizadores Exercise 9: Los peligros de los mínimos locales

Ejercicio actual

Exercise 10: Evitar los mínimos locales Exercise 11: Entrenar una red en TensorFlow Exercise 12: Inicialización en TensorFlow Exercise 13: Definición del modelo y de la función de pérdida Exercise 14: Entrenar redes neuronales con TensorFlow

En el último capítulo, utilizarás APIs de alto nivel en TensorFlow 2 para entrenar un clasificador de letras del lenguaje de signos. Utilizarás tanto el Keras secuencial como el funcional APIs para entrenar, validar, hacer predicciones y evaluar modelos. También aprenderás a utilizar los Estimadores API para agilizar el proceso de definición y entrenamiento del modelo, y evitar errores.

Exercise 1: Definir redes neuronales con Keras Exercise 2: El modelo secuencial en Keras Exercise 3: Compilar un modelo secuencial Exercise 4: Definir un modelo de entradas múltiples Exercise 5: Entrenamiento y validación con Keras Exercise 6: Entrenamiento con Keras Exercise 7: Métricas y validación con Keras Exercise 8: Detección de sobreajuste Exercise 9: Evaluar modelos Exercise 10: Entrenar modelos con los Estimadores API Exercise 11: Preparar la formación con Estimadores Exercise 12: Definición de los estimadores Exercise 13: ¡Enhorabuena!