Optimiseurs

Il est temps d’explorer les différents optimiseurs que vous pouvez utiliser pour entraîner votre modèle.

Une fonction personnalisée appelée train_model(optimizer, net, num_epochs) a été définie pour vous. Elle prend l’optimiseur, le modèle et le nombre d’époques en entrée, exécute les boucles d’entraînement et affiche la perte d’entraînement à la fin.

Utilisons train_model() pour lancer quelques entraînements courts avec différents optimiseurs et comparer les résultats !

Cet exercice fait partie du cours

Deep learning intermédiaire avec PyTorch

Afficher le cours

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

import torch.optim as optim

net = Net()

# Define the SGD optimizer
optimizer = optim.____(net.parameters(), lr=0.001)

train_model(
    optimizer=optimizer,
    net=net,
    num_epochs=10,
)

Modifier et exécuter le code

Cet exercice fait partie du cours

Deep learning intermédiaire avec PyTorch

IntermédiaireNiveau de compétence

4.8+

1558 reviews

Commencer le cours gratuitement

Apprenez à former des réseaux neuronaux de manière robuste. Dans ce chapitre, vous utiliserez la programmation orientée objet pour définir les ensembles de données et les modèles PyTorch et rafraîchir vos connaissances en matière de formation et d'évaluation des réseaux neuronaux. Vous vous familiariserez également avec différents optimiseurs et, enfin, avec diverses techniques permettant d'atténuer les problèmes d'instabilité des gradients, si omniprésents dans la formation des réseaux neuronaux.

Exercise 1: PyTorch et la programmation orientée objet Exercise 2: Dataset PyTorch Exercise 3: PyTorch DataLoader Exercise 4: Modèle PyTorch Exercise 5: Optimiseurs, entraînement et évaluation Exercise 6: Boucle d'entraînement Exercise 7: Optimiseurs

Exercice en cours

Exercise 8: Évaluation du modèle Exercise 9: Gradients qui s’annulent et qui explosent Exercise 10: Initialisation et activation Exercise 11: Fonctions d’activation : ReLU vs ELU Exercise 12: Batch normalization

Entraînez des réseaux neuronaux pour résoudre des tâches de classification d'images. Dans ce chapitre, vous apprendrez à manipuler des données d'images dans PyTorch et à vous familiariser avec les réseaux neuronaux convolutifs (CNN). Vous vous entraînerez à former et à évaluer un classificateur d'images tout en apprenant comment améliorer les performances du modèle grâce à l'augmentation des données.

Exercise 1: Manipuler des images avec PyTorch Exercise 2: Jeu de données d’images Exercise 3: Augmentation de données Exercise 4: Augmentation des données avec PyTorch Exercise 5: Convolutional Neural Networks Exercise 6: La couche convolutionnelle Exercise 7: Créer des réseaux convolutionnels Exercise 8: Entraîner des classificateurs d’images Exercise 9: Choisir des augmentations Exercise 10: Jeu de données avec augmentations Exercise 11: Boucle d’entraînement du classificateur d’images Exercise 12: Évaluer des classificateurs d’images Exercise 13: Évaluation d’un modèle multi-classes Exercise 14: Analyser les métriques par classe

Créez et formez des réseaux neuronaux récurrents (RNN) pour traiter des données séquentielles telles que des séries temporelles, du texte ou des fichiers audio. Vous découvrirez les deux architectures récurrentes les plus populaires, les réseaux Long-Short Term Memory (LSTM) et Gated Recurrent Unit (GRU), ainsi que la manière de préparer des données séquentielles pour l'apprentissage du modèle. Vous mettrez vos compétences en pratique en formant et en évaluant un modèle récurrent de prévision de la consommation d'électricité.

Exercise 1: Gérer les séquences avec PyTorch Exercise 2: Générer des séquences Exercise 3: Jeu de données séquentiel Exercise 4: Réseaux de neurones récurrents Exercise 5: Architectures séquentielles Exercise 6: Construire un RNN de prévision Exercise 7: Cellules LSTM et GRU Exercise 8: RNN vs LSTM vs GRU Exercise 9: Réseau LSTM Exercise 10: Réseau GRU Exercise 11: Entraîner et évaluer des RNN Exercise 12: Boucle d'entraînement d'une RNN Exercise 13: Évaluer des modèles de prévision

Construire des modèles à entrées et sorties multiples, en démontrant comment ils peuvent gérer des tâches nécessitant plus d'une entrée ou générant des sorties multiples. Vous découvrirez comment concevoir et entraîner ces modèles à l'aide de PyTorch et vous vous pencherez sur le sujet crucial de la pondération des pertes dans les modèles à sorties multiples. Il s'agit de comprendre comment équilibrer l'importance des différentes tâches lors de la formation d'un modèle à l'exécution simultanée de plusieurs tâches.

Exercise 1: Modèles à entrées multiples Exercise 2: Jeu de données à deux entrées Exercise 3: Modèle à deux entrées Exercise 4: Entraîner un modèle à deux entrées Exercise 5: Modèles à sorties multiples Exercise 6: Dataset et DataLoader à deux sorties Exercise 7: Architecture de modèle à deux sorties Exercise 8: Entraîner des modèles à sorties multiples Exercise 9: Évaluation des modèles à sorties multiples et pondération des pertes Exercise 10: Évaluation d’un modèle à sorties multiples Exercise 11: Pondération des pertes Exercise 12: Récapitulatif