Evitare i minimi locali

Nel problema precedente hai visto quanto sia facile rimanere bloccati in minimi locali. Avevamo un semplice problema di ottimizzazione in una variabile e il gradient descent non è comunque riuscito a trovare il minimo globale perché prima doveva attraversare minimi locali. Un modo per evitare questo problema è usare il momentum, che permette all'ottimizzatore di superare i minimi locali. Useremo di nuovo la funzione di perdita del problema precedente, che è stata definita ed è disponibile come loss_function().

Il grafico mostra una funzione in una variabile con diversi minimi locali e un minimo globale.

Diversi ottimizzatori in tensorflow hanno un parametro di momentum, tra cui SGD e RMSprop. In questo esercizio userai RMSprop. Nota che questa volta x_1 e x_2 sono stati inizializzati allo stesso valore. Inoltre, keras.optimizers.RMSprop() è già stato importato per te da tensorflow.

Questo esercizio fa parte del corso

Introduzione a TensorFlow in Python

Visualizza il corso

Istruzioni dell'esercizio

Imposta l'operazione opt_1 con un learning rate di 0.01 e un momentum di 0.99.
Imposta opt_2 per usare l'ottimizzatore RMS (root mean square propagation) con un learning rate di 0.01 e un momentum di 0.00.
Definisci l'operazione di minimizzazione per opt_2.
Stampa x_1 e x_2 come array numpy.

Esercizio pratico interattivo

Prova a risolvere questo esercizio completando il codice di esempio.

# Initialize x_1 and x_2
x_1 = Variable(0.05,float32)
x_2 = Variable(0.05,float32)

# Define the optimization operation for opt_1 and opt_2
opt_1 = keras.optimizers.RMSprop(learning_rate=____, momentum=____)
opt_2 = ____

for j in range(100):
	opt_1.minimize(lambda: loss_function(x_1), var_list=[x_1])
    # Define the minimization operation for opt_2
	____

# Print x_1 and x_2 as numpy arrays
print(____, ____)

Modifica ed esegui il codice

Questo esercizio fa parte del corso

Introduzione a TensorFlow in Python

IntermediárioNível de habilidade

4.8+

Inizia il corso gratis

Before you can build advanced models in TensorFlow 2, you will first need to understand the basics. In this chapter, you’ll learn how to define constants and variables, perform tensor addition and multiplication, and compute derivatives. Knowledge of linear algebra will be helpful, but not necessary.

Exercise 1: Constants and variables Exercise 2: Defining data as constants Exercise 3: Defining variables Exercise 4: Basic operations Exercise 5: Performing element-wise multiplication Exercise 6: Making predictions with matrix multiplication Exercise 7: Summing over tensor dimensions Exercise 8: Advanced operations Exercise 9: Reshaping tensors Exercise 10: Optimizing with gradients Exercise 11: Working with image data

In this chapter, you will learn how to build, solve, and make predictions with models in TensorFlow 2. You will focus on a simple class of models – the linear regression model – and will try to predict housing prices. By the end of the chapter, you will know how to load and manipulate data, construct loss functions, perform minimization, make predictions, and reduce resource use with batch training.

Exercise 1: Input data Exercise 2: Load data using pandas Exercise 3: Setting the data type Exercise 4: Loss functions Exercise 5: Loss functions in TensorFlow Exercise 6: Modifying the loss function Exercise 7: Linear regression Exercise 8: Set up a linear regression Exercise 9: Train a linear model Exercise 10: Multiple linear regression Exercise 11: Batch training Exercise 12: Preparing to batch train Exercise 13: Training a linear model in batches

The previous chapters taught you how to build models in TensorFlow 2. In this chapter, you will apply those same tools to build, train, and make predictions with neural networks. You will learn how to define dense layers, apply activation functions, select an optimizer, and apply regularization to reduce overfitting. You will take advantage of TensorFlow's flexibility by using both low-level linear algebra and high-level Keras API operations to define and train models.

Exercise 1: Livelli densi Exercise 2: L'algebra lineare dei livelli densi Exercise 3: L'approccio low-level con esempi multipli Exercise 4: Uso dell'operazione di livello denso Exercise 5: Funzioni di attivazione Exercise 6: Problemi di classificazione binaria Exercise 7: Problemi di classificazione multiclasse Exercise 8: Ottimizzatori Exercise 9: I pericoli dei minimi locali Exercise 10: Evitare i minimi locali

Esercizio in corso

Exercise 11: Addestrare una rete in TensorFlow Exercise 12: Inizializzazione in TensorFlow Exercise 13: Definire il modello e la funzione di perdita Exercise 14: Addestrare reti neurali con TensorFlow

In the final chapter, you'll use high-level APIs in TensorFlow 2 to train a sign language letter classifier. You will use both the sequential and functional Keras APIs to train, validate, make predictions with, and evaluate models. You will also learn how to use the Estimators API to streamline the model definition and training process, and to avoid errors.

Exercise 1: Defining neural networks with Keras Exercise 2: The sequential model in Keras Exercise 3: Compiling a sequential model Exercise 4: Defining a multiple input model Exercise 5: Training and validation with Keras Exercise 6: Training with Keras Exercise 7: Metrics and validation with Keras Exercise 8: Overfitting detection Exercise 9: Evaluating models Exercise 10: Training models with the Estimators API Exercise 11: Preparing to train with Estimators Exercise 12: Defining Estimators Exercise 13: Congratulations!