Optimizar con gradientes

Se te da una función de pérdida, \(y = x^{2}\), que quieres minimizar. Puedes hacerlo calculando la pendiente mediante la operación GradientTape() a diferentes valores de x. Si la pendiente es positiva, puedes disminuir la pérdida bajando x. Si es negativo, puedes disminuirlo aumentando x. Así funciona el descenso por gradiente.

La imagen muestra un gráfico de y igual a x al cuadrado. También muestra el gradiente en x igual a -1, x igual a 0 y x igual a 1.

En la práctica, utilizarás una operación de alto nivel tensorflow para realizar el descenso de gradiente automáticamente. En este ejercicio, sin embargo, calcularás la pendiente en x con valores de -1, 1 y 0. Están disponibles las siguientes operaciones: GradientTape(), multiply(), y Variable().

Este ejercicio forma parte del curso

Introducción a TensorFlow en Python

Instrucciones de ejercicio

Define x como una variable con el valor inicial x0.
Establece la función de pérdida, y, igual a x multiplicado por x. No utilices la sobrecarga del operador.
Configura la función para que devuelva el gradiente de y con respecto a x.

Ejercicio interactivo práctico

Pruebe este ejercicio completando este código de muestra.

def compute_gradient(x0):
  	# Define x as a variable with an initial value of x0
	x = ____(x0)
	with GradientTape() as tape:
		tape.watch(x)
        # Define y using the multiply operation
		y = ____
    # Return the gradient of y with respect to x
	return tape.gradient(____, ____).numpy()

# Compute and print gradients at x = -1, 1, and 0
print(compute_gradient(-1.0))
print(compute_gradient(1.0))
print(compute_gradient(0.0))

Editar y ejecutar código

Este ejercicio forma parte del curso

Introducción a TensorFlow en Python

IntermedioNivel de habilidad

5.0+

Comienza el curso gratis

Antes de que puedas construir modelos avanzados en TensorFlow 2, primero tendrás que entender lo básico. En este capítulo aprenderás a definir constantes y variables, a realizar sumas y multiplicaciones tensoriales y a calcular derivadas. Los conocimientos de álgebra lineal serán útiles, pero no necesarios.

Exercise 1: Constantes y variables Exercise 2: Definir datos como constantes Exercise 3: Definición de variables Exercise 4: Operaciones básicas Exercise 5: Realizar la multiplicación por elementos Exercise 6: Hacer predicciones con la multiplicación de matrices Exercise 7: Suma sobre dimensiones tensoriales Exercise 8: Operaciones avanzadas Exercise 9: Tensores de remodelación Exercise 10: Optimizar con gradientes

Ejercicio actual

Exercise 11: Trabajar con datos de imagen

En este capítulo aprenderás a construir, resolver y hacer predicciones con modelos en TensorFlow 2. Te centrarás en una clase sencilla de modelos -el modelo de regresión lineal- e intentarás predecir los precios de la vivienda. Al final del capítulo, sabrás cómo cargar y manipular datos, construir funciones de pérdida, realizar minimizaciones, hacer predicciones y reducir el uso de recursos con el entrenamiento por lotes.

Exercise 1: Datos de entrada Exercise 2: Cargar datos con pandas Exercise 3: Establecer el tipo de datos Exercise 4: Funciones de pérdida Exercise 5: Funciones de pérdida en TensorFlow Exercise 6: Modificar la función de pérdida Exercise 7: Regresión lineal Exercise 8: Establece una regresión lineal Exercise 9: Entrenar un modelo lineal Exercise 10: Regresión lineal múltiple Exercise 11: Formación por lotes Exercise 12: Preparándose para la formación por lotes Exercise 13: Entrenar un modelo lineal por lotes

Los capítulos anteriores te enseñaron a construir modelos en TensorFlow 2. En este capítulo, aplicarás esas mismas herramientas para construir, entrenar y hacer predicciones con redes neuronales. Aprenderás a definir capas densas, aplicar funciones de activación, seleccionar un optimizador y aplicar la regularización para reducir el sobreajuste. Aprovecharás la flexibilidad de TensorFlow utilizando tanto el álgebra lineal de bajo nivel como las operaciones de alto nivel de Keras API para definir y entrenar modelos.

Exercise 1: Capas densas Exercise 2: El álgebra lineal de las capas densas Exercise 3: El enfoque de bajo nivel con múltiples ejemplos Exercise 4: Utilizar la operación de capa densa Exercise 5: Funciones de activación Exercise 6: Problemas de clasificación binaria Exercise 7: Problemas de clasificación multiclase Exercise 8: Optimizadores Exercise 9: Los peligros de los mínimos locales Exercise 10: Evitar los mínimos locales Exercise 11: Entrenar una red en TensorFlow Exercise 12: Inicialización en TensorFlow Exercise 13: Definición del modelo y de la función de pérdida Exercise 14: Entrenar redes neuronales con TensorFlow

En el último capítulo, utilizarás APIs de alto nivel en TensorFlow 2 para entrenar un clasificador de letras del lenguaje de signos. Utilizarás tanto el Keras secuencial como el funcional APIs para entrenar, validar, hacer predicciones y evaluar modelos. También aprenderás a utilizar los Estimadores API para agilizar el proceso de definición y entrenamiento del modelo, y evitar errores.

Exercise 1: Definir redes neuronales con Keras Exercise 2: El modelo secuencial en Keras Exercise 3: Compilar un modelo secuencial Exercise 4: Definir un modelo de entradas múltiples Exercise 5: Entrenamiento y validación con Keras Exercise 6: Entrenamiento con Keras Exercise 7: Métricas y validación con Keras Exercise 8: Detección de sobreajuste Exercise 9: Evaluar modelos Exercise 10: Entrenar modelos con los Estimadores API Exercise 11: Preparar la formación con Estimadores Exercise 12: Definición de los estimadores Exercise 13: ¡Enhorabuena!