Fonctions d’activation : ReLU vs ELU

Le choix des fonctions d’activation utilisées dans le modèle (associé à l’initialisation des poids correspondante) peut avoir un fort impact sur l’entraînement. En particulier, une activation adaptée peut éviter au réseau de subir des problèmes de gradients instables.

Dans l’exercice précédent, vous êtes passé de ReLU à ELU. Vous souvenez-vous des caractéristiques de ces deux activations qui justifient ce changement ?

Cet exercice fait partie du cours

<cours>Deep learning intermédiaire avec PyTorch</cours>

Voir le cours

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

<cours>Deep learning intermédiaire avec PyTorch</cours>

IntermédiaireNiveau de compétence

4.8+

2079 reviews

Commencer le cours gratuitement

Apprenez à former des réseaux neuronaux de manière robuste. Dans ce chapitre, vous utiliserez la programmation orientée objet pour définir les ensembles de données et les modèles PyTorch et rafraîchir vos connaissances en matière de formation et d'évaluation des réseaux neuronaux. Vous vous familiariserez également avec différents optimiseurs et, enfin, avec diverses techniques permettant d'atténuer les problèmes d'instabilité des gradients, si omniprésents dans la formation des réseaux neuronaux.

Exercise 1: PyTorch et la programmation orientée objet Exercise 2: Dataset PyTorch Exercise 3: PyTorch DataLoader Exercise 4: Modèle PyTorch Exercise 5: Optimiseurs, entraînement et évaluation Exercise 6: Boucle d'entraînement Exercise 7: Optimiseurs Exercise 8: Évaluation du modèle Exercise 9: Gradients qui s’annulent et qui explosent Exercise 10: Initialisation et activation Exercise 11: Fonctions d’activation : ReLU vs ELU

Exercice actuel

Exercise 12: Batch normalization

Entraînez des réseaux neuronaux pour résoudre des tâches de classification d'images. Dans ce chapitre, vous apprendrez à manipuler des données d'images dans PyTorch et à vous familiariser avec les réseaux neuronaux convolutifs (CNN). Vous vous entraînerez à former et à évaluer un classificateur d'images tout en apprenant comment améliorer les performances du modèle grâce à l'augmentation des données.

Exercise 1: Manipuler des images avec PyTorch Exercise 2: Jeu de données d’images Exercise 3: Augmentation de données Exercise 4: Augmentation des données avec PyTorch Exercise 5: Convolutional Neural Networks Exercise 6: La couche convolutionnelle Exercise 7: Créer des réseaux convolutionnels Exercise 8: Entraîner des classificateurs d’images Exercise 9: Choisir des augmentations Exercise 10: Jeu de données avec augmentations Exercise 11: Boucle d’entraînement du classificateur d’images Exercise 12: Évaluer des classificateurs d’images Exercise 13: Évaluation d’un modèle multi-classes Exercise 14: Analyser les métriques par classe

Créez et formez des réseaux neuronaux récurrents (RNN) pour traiter des données séquentielles telles que des séries temporelles, du texte ou des fichiers audio. Vous découvrirez les deux architectures récurrentes les plus populaires, les réseaux Long-Short Term Memory (LSTM) et Gated Recurrent Unit (GRU), ainsi que la manière de préparer des données séquentielles pour l'apprentissage du modèle. Vous mettrez vos compétences en pratique en formant et en évaluant un modèle récurrent de prévision de la consommation d'électricité.

Exercise 1: Gérer les séquences avec PyTorch Exercise 2: Générer des séquences Exercise 3: Jeu de données séquentiel Exercise 4: Réseaux de neurones récurrents Exercise 5: Architectures séquentielles Exercise 6: Construire un RNN de prévision Exercise 7: Cellules LSTM et GRU Exercise 8: RNN vs LSTM vs GRU Exercise 9: Réseau LSTM Exercise 10: Réseau GRU Exercise 11: Entraîner et évaluer des RNN Exercise 12: Boucle d'entraînement d'une RNN Exercise 13: Évaluer des modèles de prévision

Construire des modèles à entrées et sorties multiples, en démontrant comment ils peuvent gérer des tâches nécessitant plus d'une entrée ou générant des sorties multiples. Vous découvrirez comment concevoir et entraîner ces modèles à l'aide de PyTorch et vous vous pencherez sur le sujet crucial de la pondération des pertes dans les modèles à sorties multiples. Il s'agit de comprendre comment équilibrer l'importance des différentes tâches lors de la formation d'un modèle à l'exécution simultanée de plusieurs tâches.

Exercise 1: Modèles à entrées multiples Exercise 2: Jeu de données à deux entrées Exercise 3: Modèle à deux entrées Exercise 4: Entraîner un modèle à deux entrées Exercise 5: Modèles à sorties multiples Exercise 6: Dataset et DataLoader à deux sorties Exercise 7: Architecture de modèle à deux sorties Exercise 8: Entraîner des modèles à sorties multiples Exercise 9: Évaluation des modèles à sorties multiples et pondération des pertes Exercise 10: Évaluation d’un modèle à sorties multiples Exercise 11: Pondération des pertes Exercise 12: Récapitulatif