Optimización con gradientes

Tienes una función de pérdida, \(y = x^{2}\), que quieres minimizar. Puedes hacerlo calculando la pendiente con la operación GradientTape() en distintos valores de x. Si la pendiente es positiva, puedes reducir la pérdida disminuyendo x. Si es negativa, puedes reducirla aumentando x. Así es como funciona el descenso por gradiente.

The image shows a plot of y equals x squared. It also shows the gradient at x equals -1, x equals 0, and x equals 1.

En la práctica, usarás una operación de alto nivel de tensorflow para realizar el descenso por gradiente de forma automática. En este ejercicio, sin embargo, calcularás la pendiente en los valores de x -1, 1 y 0. Están disponibles las siguientes operaciones: GradientTape(), multiply(), y Variable().

Este ejercicio forma parte del curso

Introducción a TensorFlow en Python

Instrucciones del ejercicio

Define x como una variable con el valor inicial x0.
Define la función de pérdida, y, como x multiplicado por x. No uses sobrecarga de operadores.
Haz que la función devuelva el gradiente de y con respecto a x.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

def compute_gradient(x0):
  	# Define x as a variable with an initial value of x0
	x = ____(x0)
	with GradientTape() as tape:
		tape.watch(x)
        # Define y using the multiply operation
		y = ____
    # Return the gradient of y with respect to x
	return tape.gradient(____, ____).numpy()

# Compute and print gradients at x = -1, 1, and 0
print(compute_gradient(-1.0))
print(compute_gradient(1.0))
print(compute_gradient(0.0))

Editar y ejecutar código

Este ejercicio forma parte del curso

Introducción a TensorFlow en Python

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

Antes de poder crear modelos avanzados en TensorFlow 2, primero necesitas entender lo básico. En este capítulo, aprenderás a definir constantes y variables, realizar sumas y multiplicaciones de tensores y calcular derivadas. Tener conocimientos de álgebra lineal te ayudará, pero no es imprescindible.

Exercise 1: Constantes y variables Exercise 2: Definir datos como constantes Exercise 3: Definir variables Exercise 4: Operaciones básicas Exercise 5: Multiplicación elemento a elemento Exercise 6: Hacer predicciones con multiplicación de matrices Exercise 7: Sumar sobre dimensiones de tensores Exercise 8: Operaciones avanzadas Exercise 9: Cambiar la forma de tensores Exercise 10: Optimización con gradientes

Ejercicio actual

Exercise 11: Trabajar con datos de imagen

En este capítulo, aprenderás a construir, resolver y hacer predicciones con modelos en TensorFlow 2. Te centrarás en una clase simple de modelos —el modelo de regresión lineal— e intentarás predecir precios de viviendas. Al finalizar, sabrás cargar y manipular datos, construir funciones de pérdida, realizar minimización, hacer predicciones y reducir el uso de recursos con entrenamiento por lotes.

Exercise 1: Datos de entrada Exercise 2: Cargar datos con pandas Exercise 3: Configurar el tipo de dato Exercise 4: Funciones de pérdida Exercise 5: Funciones de pérdida en TensorFlow Exercise 6: Modificar la función de pérdida Exercise 7: Regresión lineal Exercise 8: Configura una regresión lineal Exercise 9: Entrena un modelo lineal Exercise 10: Regresión lineal múltiple Exercise 11: Entrenamiento por lotes Exercise 12: Preparar el entrenamiento por lotes Exercise 13: Entrenar un modelo lineal por lotes

En los capítulos anteriores has aprendido a crear modelos en TensorFlow 2. En este capítulo, aplicarás esas mismas herramientas para construir, entrenar y hacer predicciones con redes neuronales. Aprenderás a definir capas densas, aplicar funciones de activación, elegir un optimizador y aplicar regularización para reducir el sobreajuste. Aprovecharás la flexibilidad de TensorFlow utilizando tanto operaciones de álgebra lineal de bajo nivel como operaciones de la API Keras de alto nivel para definir y entrenar modelos.

Exercise 1: Capas densas Exercise 2: Álgebra lineal de las capas densas Exercise 3: El enfoque de bajo nivel con múltiples ejemplos Exercise 4: Usar la operación de capa densa Exercise 5: Funciones de activación Exercise 6: Problemas de clasificación binaria Exercise 7: Problemas de clasificación multiclase Exercise 8: Optimizadores Exercise 9: Los peligros de los mínimos locales Exercise 10: Evitar mínimos locales Exercise 11: Entrenar una red en TensorFlow Exercise 12: Inicialización en TensorFlow Exercise 13: Definir el modelo y la función de pérdida Exercise 14: Entrenar redes neuronales con TensorFlow

En el capítulo final, usarás APIs de alto nivel en TensorFlow 2 para entrenar un clasificador de letras en lenguaje de signos. Utilizarás las APIs secuencial y funcional de Keras para entrenar, validar, hacer predicciones y evaluar modelos. También aprenderás a usar la API de Estimators para agilizar la definición y el entrenamiento de modelos, y evitar errores.

Exercise 1: Definir redes neuronales con Keras Exercise 2: El modelo secuencial en Keras Exercise 3: Compilar un modelo secuencial Exercise 4: Definir un modelo con múltiples entradas Exercise 5: Entrenamiento y validación con Keras Exercise 6: Entrenamiento con Keras Exercise 7: Métricas y validación con Keras Exercise 8: Detección de sobreajuste Exercise 9: Evaluación de modelos Exercise 10: Entrenar modelos con la API de Estimators Exercise 11: Prepararte para entrenar con Estimators Exercise 12: Definiendo Estimators Exercise 13: ¡Enhorabuena!