Activations : ReLU vs. ELU

Le choix des fonctions d'activation utilisées dans le modèle (combiné à l'initialisation des poids correspondants) peut avoir un impact important sur le processus d'apprentissage. En particulier, une activation appropriée peut empêcher le réseau de connaître des problèmes de gradients instables.

Dans l'exercice précédent, vous êtes passé des activations ReLU à ELU. Vous souvenez-vous des caractéristiques des deux activations qui justifient ce changement ?

Cet exercice fait partie du cours

Apprentissage profond intermédiaire avec PyTorch

Afficher le cours

Exercice interactif pratique

Passez de la théorie à la pratique avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

Apprentissage profond intermédiaire avec PyTorch

IntermédiaireNiveau de compétence

4.8+

953 reviews

Commencer le cours gratuitement

Apprenez à former des réseaux neuronaux de manière robuste. Dans ce chapitre, vous utiliserez la programmation orientée objet pour définir les ensembles de données et les modèles PyTorch et rafraîchir vos connaissances en matière de formation et d'évaluation des réseaux neuronaux. Vous vous familiariserez également avec différents optimiseurs et, enfin, avec diverses techniques permettant d'atténuer les problèmes d'instabilité des gradients, si omniprésents dans la formation des réseaux neuronaux.

Exercise 1: PyTorch et la programmation orientée objet Exercise 2: Ensemble de données PyTorch Exercise 3: PyTorch DataLoader Exercise 4: Modèle PyTorch Exercise 5: Optimiseurs, formation et évaluation Exercise 6: Boucle de formation Exercise 7: Optimiseurs Exercise 8: Évaluation du modèle Exercise 9: Dégradés disparaissants et explosifs Exercise 10: Initialisation et activation Exercise 11: Activations : ReLU vs. ELU

Exercice en cours

Exercise 12: Normalisation par lots

Entraînez des réseaux neuronaux pour résoudre des tâches de classification d'images. Dans ce chapitre, vous apprendrez à manipuler des données d'images dans PyTorch et à vous familiariser avec les réseaux neuronaux convolutifs (CNN). Vous vous entraînerez à former et à évaluer un classificateur d'images tout en apprenant comment améliorer les performances du modèle grâce à l'augmentation des données.

Exercise 1: Manipuler des images avec PyTorch Exercise 2: Ensemble de données d'images Exercise 3: Augmentation des données Exercise 4: Augmentation des données dans PyTorch Exercise 5: Réseaux neuronaux convolutifs Exercise 6: La couche convolutive Exercise 7: Construire des réseaux convolutifs Exercise 8: Formation de classificateurs d'images Exercise 9: Choix des augmentations Exercise 10: Ensemble de données avec augmentations Exercise 11: Boucle d'apprentissage du classificateur d'images Exercise 12: Évaluation des classificateurs d'images Exercise 13: Évaluation de modèles multi-classes Exercise 14: Analyse des métriques par classe

Créez et formez des réseaux neuronaux récurrents (RNN) pour traiter des données séquentielles telles que des séries temporelles, du texte ou des fichiers audio. Vous découvrirez les deux architectures récurrentes les plus populaires, les réseaux Long-Short Term Memory (LSTM) et Gated Recurrent Unit (GRU), ainsi que la manière de préparer des données séquentielles pour l'apprentissage du modèle. Vous mettrez vos compétences en pratique en formant et en évaluant un modèle récurrent de prévision de la consommation d'électricité.

Exercise 1: Manipuler des séquences avec PyTorch Exercise 2: Générer des séquences Exercise 3: Ensemble de données séquentielles Exercise 4: Réseaux neuronaux récurrents Exercise 5: Architectures séquentielles Exercise 6: Construire un système de prévision RNN Exercise 7: LSTM et GRU cellules Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: LSTM réseau Exercise 10: GRU réseau Exercise 11: Formation et évaluation des RNN Exercise 12: RNN boucle de formation Exercise 13: Évaluation des modèles de prévision

Construire des modèles à entrées et sorties multiples, en démontrant comment ils peuvent gérer des tâches nécessitant plus d'une entrée ou générant des sorties multiples. Vous découvrirez comment concevoir et entraîner ces modèles à l'aide de PyTorch et vous vous pencherez sur le sujet crucial de la pondération des pertes dans les modèles à sorties multiples. Il s'agit de comprendre comment équilibrer l'importance des différentes tâches lors de la formation d'un modèle à l'exécution simultanée de plusieurs tâches.

Exercise 1: Modèles à entrées multiples Exercise 2: Ensemble de données à deux entrées Exercise 3: Modèle à deux entrées Exercise 4: Formation d'un modèle à deux entrées Exercise 5: Modèles à sorties multiples Exercise 6: Dataset et DataLoader à deux sorties Exercise 7: Architecture du modèle à deux sorties Exercise 8: Formation de modèles à sorties multiples Exercise 9: Évaluation des modèles à sorties multiples et pondération des pertes Exercise 10: Évaluation d'un modèle à sorties multiples Exercise 11: Pondération des pertes Exercise 12: Conclusion