Procedura di fine-tuning

Stai addestrando un modello su un nuovo insieme di dati e pensi di poter usare un approccio di fine-tuning invece di partire da zero (cioè addestrare da pesi inizializzati casualmente).

Per fare fine-tuning di un modello su un nuovo task, devi seguire una serie di passaggi elencati qui.

Questo esercizio fa parte del corso

Introduzione al Deep Learning con PyTorch

Visualizza corso

esercizio interattivo pratico

Trasforma la teoria in pratica con uno dei nostri esercizi interattivi

Inizia esercizio

Questo esercizio fa parte del corso

Introduzione al Deep Learning con PyTorch

IntermediárioNível de habilidade

4.8+

Inizia il corso gratuitamente

Auto a guida autonoma, smartphone, motori di ricerca... Il deep learning è ormai ovunque. Prima di iniziare a creare modelli complessi, familiarizzerai con PyTorch, un framework di deep learning. Imparerai a manipolare i tensori, creare strutture dati di PyTorch e costruire la tua prima rete neurale in PyTorch con layer lineari.

Exercise 1: Introduzione al deep learning con PyTorch Exercise 2: Prime mosse con i tensori PyTorch Exercise 3: Verificare e sommare i tensori Exercise 4: Reti neurali e layer Exercise 5: Rete con livello lineare Exercise 6: Capire i pesi Exercise 7: Strati nascosti e parametri Exercise 8: Il tuo primo neural network Exercise 9: Impilare livelli lineari Exercise 10: Contare il numero di parametri

Per addestrare una rete neurale in PyTorch, dovrai prima comprendere componenti aggiuntivi come le funzioni di attivazione e di loss. Capirai poi che l’addestramento di una rete richiede di minimizzare quella funzione di loss, operazione che si compie calcolando i gradienti. Imparerai a usare questi gradienti per aggiornare i parametri del tuo modello.

Exercise 1: Scoprire le funzioni di attivazione Exercise 2: Attiva la tua comprensione!Exercise 3: Le funzioni sigmoid e softmax Exercise 4: Eseguire un forward pass Exercise 5: Creare un classificatore binario in PyTorch Exercise 6: Dalla regressione alla classificazione multiclasse Exercise 7: Usare le funzioni di perdita per valutare le previsioni del modello Exercise 8: Creare etichette one-hot encoded Exercise 9: Calcolare la cross entropy loss Exercise 10: Usare le derivate per aggiornare i parametri del modello Exercise 11: Accedere ai parametri del modello Exercise 12: Aggiornare manualmente i pesi Exercise 13: Usare l'ottimizzatore di PyTorch

Ora che conosci i componenti chiave di una rete neurale, ne addestrerai una utilizzando un training loop. Esplorerai possibili problemi come i gradienti che svaniscono e imparerai strategie per affrontarli, ad esempio funzioni di attivazione alternative e la regolazione di learning rate e momentum.

Exercise 1: Approfondiamo il caricamento dei dati Exercise 2: Uso di TensorDataset Exercise 3: Uso di DataLoader Exercise 4: Scrivere il nostro primo ciclo di training Exercise 5: Uso di MSELoss Exercise 6: Scrivere un training loop Exercise 7: Funzioni di attivazione ReLU Exercise 8: Implementare ReLU Exercise 9: Implementare la leaky ReLU Exercise 10: Capire le funzioni di attivazione Exercise 11: Learning rate e momentum Exercise 12: Sperimentare con il learning rate Exercise 13: Sperimentare con il momentum

Addestrare un modello di deep learning è un’arte e, per assicurarci che il modello venga addestrato correttamente, dobbiamo monitorare alcune metriche durante l’addestramento, come la loss o l’accuratezza. Impareremo come calcolare queste metriche e come ridurre l’overfitting.

Exercise 1: Inizializzazione dei layer e transfer learning Exercise 2: Procedura di fine-tuning

Esercizio attuale

Exercise 3: Blocca (freeze) i layer di un modello Exercise 4: Inizializzazione dei layer Exercise 5: Valutare le prestazioni del modello Exercise 6: Scrivere il loop di valutazione Exercise 7: Calcolare l'accuracy con torchmetrics Exercise 8: Combattere l’overfitting Exercise 9: Sperimentare con il dropout Exercise 10: Capire l'overfitting Exercise 11: Migliorare le prestazioni del modello Exercise 12: Implementare la random search Exercise 13: Video di riepilogo