Implementare la leaky ReLU

Sebbene la ReLU sia ampiamente utilizzata, imposta gli input negativi a 0, producendo gradienti nulli per quei valori. Questo può impedire a parti del modello di apprendere.

La leaky ReLU supera questo limite consentendo piccoli gradienti per gli input negativi, controllati dal parametro negative_slope. Invece di 0, gli input negativi vengono moltiplicati per questo piccolo valore, mantenendo attivo l’apprendimento del modello.

In questo esercizio implementerai la funzione leaky ReLU in PyTorch e farai pratica a usarla. Il pacchetto torch e torch.nn come nn sono già stati importati.

Questo esercizio fa parte del corso

Introduzione al Deep Learning con PyTorch

Visualizza corso

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____

x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)

Modifica ed esegui il codice

Questo esercizio fa parte del corso

Introduzione al Deep Learning con PyTorch

IntermediárioNível de habilidade

4.8+

Inizia il corso gratuitamente

Auto a guida autonoma, smartphone, motori di ricerca... Il deep learning è ormai ovunque. Prima di iniziare a creare modelli complessi, familiarizzerai con PyTorch, un framework di deep learning. Imparerai a manipolare i tensori, creare strutture dati di PyTorch e costruire la tua prima rete neurale in PyTorch con layer lineari.

Exercise 1: Introduzione al deep learning con PyTorch Exercise 2: Prime mosse con i tensori PyTorch Exercise 3: Verificare e sommare i tensori Exercise 4: Reti neurali e layer Exercise 5: Rete con livello lineare Exercise 6: Capire i pesi Exercise 7: Strati nascosti e parametri Exercise 8: Il tuo primo neural network Exercise 9: Impilare livelli lineari Exercise 10: Contare il numero di parametri

Per addestrare una rete neurale in PyTorch, dovrai prima comprendere componenti aggiuntivi come le funzioni di attivazione e di loss. Capirai poi che l’addestramento di una rete richiede di minimizzare quella funzione di loss, operazione che si compie calcolando i gradienti. Imparerai a usare questi gradienti per aggiornare i parametri del tuo modello.

Exercise 1: Scoprire le funzioni di attivazione Exercise 2: Attiva la tua comprensione!Exercise 3: Le funzioni sigmoid e softmax Exercise 4: Eseguire un forward pass Exercise 5: Creare un classificatore binario in PyTorch Exercise 6: Dalla regressione alla classificazione multiclasse Exercise 7: Usare le funzioni di perdita per valutare le previsioni del modello Exercise 8: Creare etichette one-hot encoded Exercise 9: Calcolare la cross entropy loss Exercise 10: Usare le derivate per aggiornare i parametri del modello Exercise 11: Accedere ai parametri del modello Exercise 12: Aggiornare manualmente i pesi Exercise 13: Usare l'ottimizzatore di PyTorch

Ora che conosci i componenti chiave di una rete neurale, ne addestrerai una utilizzando un training loop. Esplorerai possibili problemi come i gradienti che svaniscono e imparerai strategie per affrontarli, ad esempio funzioni di attivazione alternative e la regolazione di learning rate e momentum.

Exercise 1: Approfondiamo il caricamento dei dati Exercise 2: Uso di TensorDataset Exercise 3: Uso di DataLoader Exercise 4: Scrivere il nostro primo ciclo di training Exercise 5: Uso di MSELoss Exercise 6: Scrivere un training loop Exercise 7: Funzioni di attivazione ReLU Exercise 8: Implementare ReLU Exercise 9: Implementare la leaky ReLU

Esercizio attuale

Exercise 10: Capire le funzioni di attivazione Exercise 11: Learning rate e momentum Exercise 12: Sperimentare con il learning rate Exercise 13: Sperimentare con il momentum

Addestrare un modello di deep learning è un’arte e, per assicurarci che il modello venga addestrato correttamente, dobbiamo monitorare alcune metriche durante l’addestramento, come la loss o l’accuratezza. Impareremo come calcolare queste metriche e come ridurre l’overfitting.

Exercise 1: Inizializzazione dei layer e transfer learning Exercise 2: Procedura di fine-tuning Exercise 3: Blocca (freeze) i layer di un modello Exercise 4: Inizializzazione dei layer Exercise 5: Valutare le prestazioni del modello Exercise 6: Scrivere il loop di valutazione Exercise 7: Calcolare l'accuracy con torchmetrics Exercise 8: Combattere l’overfitting Exercise 9: Sperimentare con il dropout Exercise 10: Capire l'overfitting Exercise 11: Migliorare le prestazioni del modello Exercise 12: Implementare la random search Exercise 13: Video di riepilogo