Activations : ReLU vs ELU

Le choix des fonctions d'activation utilisées dans le modèle (combiné à l'initialisation des poids correspondante) peut avoir un fort impact sur l'entraînement. En particulier, une activation bien choisie peut empêcher le réseau de subir des problèmes de gradients instables.

Dans l'exercice précédent, vous avez remplacé les activations ReLU par des ELU. Vous souvenez-vous des caractéristiques de ces deux activations qui justifient ce changement?

Cette activité fait partie du cours

Apprentissage profond intermédiaire avec PyTorch

Voir le cours

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Apprentissage profond intermédiaire avec PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

2170 reviews

Commencer le cours gratuitement

Apprenez à entraîner des réseaux de neurones de façon robuste. Dans ce chapitre, vous utiliserez la programmation orientée objet pour définir des jeux de données et des modèles PyTorch et réviser vos connaissances sur l'entraînement et l'évaluation de réseaux de neurones. Vous vous familiariserez aussi avec différents optimiseurs et, enfin, vous maîtriserez diverses techniques qui aident à atténuer les problèmes de gradients instables, si répandus lors de l'entraînement des réseaux.

Exercise 1: PyTorch et la programmation orientée objet Exercise 2: Jeu de données PyTorch Exercise 3: PyTorch DataLoader Exercise 4: Modèle PyTorch Exercise 5: Optimiseurs, entraînement et évaluation Exercise 6: Boucle d'entraînement Exercise 7: Optimiseurs Exercise 8: Évaluation du modèle Exercise 9: Gradients qui s'évanouissent et qui explosent Exercise 10: Initialisation et activation Exercise 11: Activations : ReLU vs ELU

Exercice en cours

Exercise 12: Normalisation par lot

Entraînez des réseaux de neurones pour résoudre des tâches de classification d'images. Dans ce chapitre, vous apprendrez à manipuler des données d'images dans PyTorch et à vous familiariser avec les réseaux de neurones convolutionnels (CNN). Vous vous exercerez à entraîner et à évaluer un classificateur d'images tout en découvrant comment améliorer les performances du modèle grâce à l'augmentation de données.

Exercise 1: Manipuler des images avec PyTorch Exercise 2: Jeu de données d'images Exercise 3: Augmentation des données Exercise 4: Augmentation de données avec PyTorch Exercise 5: Réseaux de neurones convolutionnels Exercise 6: La couche de convolution Exercise 7: Créer des réseaux convolutionnels Exercise 8: Entraîner des classifieurs d'images Exercise 9: Choisir les augmentations Exercise 10: Jeu de données avec augmentations Exercise 11: Boucle d'entraînement du classifieur d'images Exercise 12: Évaluer des classificateurs d'images Exercise 13: Évaluation d'un modèle multiclasse Exercise 14: Analyse des métriques par classe

Créez et entraînez des réseaux de neurones récurrents (RNN) pour traiter des données séquentielles comme des séries chronologiques, du texte ou de l'audio. Vous découvrirez les deux architectures récurrentes les plus populaires, LSTM (Long Short-Term Memory) et GRU (Gated Recurrent Unit), ainsi que la préparation des données séquentielles pour l'entraînement. Vous mettrez vos compétences en pratique en entraînant et en évaluant un modèle récurrent pour prédire la consommation d'électricité.

Exercise 1: Manipuler les séquences avec PyTorch Exercise 2: Générer des séquences Exercise 3: Jeu de données séquentiel Exercise 4: Réseaux de neurones récurrents Exercise 5: Architectures séquentielles Exercise 6: Créer un RNN de prévision Exercise 7: Cellules LSTM et GRU Exercise 8: RNN vs LSTM vs GRU Exercise 9: Réseau LSTM Exercise 10: Réseau GRU Exercise 11: Entraîner et évaluer des RNN Exercise 12: Boucle d'entraînement RNN Exercise 13: Évaluer des modèles de prévision

Créez des modèles à entrées multiples et à sorties multiples, et voyez comment ils abordent des tâches nécessitant plus d'une entrée ou générant plusieurs sorties. Vous explorerez la conception et l'entraînement de ces modèles avec PyTorch et approfondirez l'aspect crucial de la pondération des pertes dans les modèles à sorties multiples. Il s'agit de comprendre comment équilibrer l'importance de différentes tâches quand on entraîne un modèle à accomplir plusieurs tâches simultanément.

Exercise 1: Modèles à entrées multiples Exercise 2: Jeu de données à deux entrées Exercise 3: Modèle à deux entrées Exercise 4: Entraîner un modèle à deux entrées Exercise 5: Modèles à sorties multiples Exercise 6: Jeu de données et DataLoader à deux sorties Exercise 7: Architecture de modèle à deux sorties Exercise 8: Entraîner des modèles à sorties multiples Exercise 9: Évaluation des modèles à sorties multiples et pondération des pertes Exercise 10: Évaluation d'un modèle à sorties multiples Exercise 11: Pondération des pertes Exercise 12: Récapitulatif