Calculer la perte d'entropie croisée

La perte d'entropie croisée est une méthode largement utilisée pour mesurer la perte en classification. Dans cet exercice, vous calculerez l'entropie croisée dans PyTorch à l'aide de :

y : l'étiquette véritable (ground truth).
scores : un vecteur de prédictions avant softmax.

Les fonctions de perte aident les réseaux neuronaux à apprendre en mesurant les erreurs de prédiction. Créez un vecteur à codage one-hot pour y, définissez la fonction de perte d'entropie croisée et calculez la perte à partir de scores et de l'étiquette encodée. Le résultat sera un seul nombre à virgule flottante représentant la perte de l'exemple.

torch, CrossEntropyLoss et torch.nn.functional sous le nom F ont déjà été importés pour vous.

Cette activité fait partie du cours

Introduction au Deep Learning avec PyTorch

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

import torch
import torch.nn.functional as F
from torch.nn import CrossEntropyLoss

y = [2]
scores = torch.tensor([[0.1, 6.0, -2.0, 3.2]])

# Create a one-hot encoded vector of the label y
one_hot_label = F.____(torch.____(____), num_classes=____)

Modifier et exécuter le code

Cette activité fait partie du cours

Introduction au Deep Learning avec PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Voitures autonomes, téléphones intelligents, moteurs de recherche… le deep learning est maintenant partout. Avant de commencer à bâtir des modèles complexes, vous vous familiariserez avec PyTorch, un cadre de travail de deep learning. Vous apprendrez à manipuler des tenseurs, à créer des structures de données PyTorch et à construire votre premier réseau neuronal dans PyTorch avec des couches linéaires.

Exercise 1: Introduction au Deep Learning avec PyTorch Exercise 2: Premiers pas avec les tenseurs PyTorch Exercise 3: Vérifier et additionner des tenseurs Exercise 4: Réseaux neuronaux et couches Exercise 5: Réseau à couche linéaire Exercise 6: Comprendre les poids Exercise 7: Couches cachées et paramètres Exercise 8: Votre premier réseau de neurones Exercise 9: Empiler des couches linéaires Exercise 10: Compter le nombre de paramètres

Pour entraîner un réseau neuronal dans PyTorch, vous devrez d'abord comprendre des composantes supplémentaires, comme les fonctions d'activation et de perte. Vous verrez ensuite que l'entraînement d'un réseau consiste à minimiser cette fonction de perte, ce qui se fait en calculant des gradients. Vous apprendrez à utiliser ces gradients pour mettre à jour les paramètres de votre modèle.

Exercise 1: Découvrir les fonctions d'activation Exercise 2: Mettez vos connaissances en action !Exercise 3: Les fonctions sigmoid et softmax Exercise 4: Exécuter une passe avant Exercise 5: Créer un classifieur binaire avec PyTorch Exercise 6: De la régression à la classification multiclasse Exercise 7: Utiliser les fonctions de perte pour évaluer les prédictions du modèle Exercise 8: Créer des étiquettes en one‑hot Exercise 9: Calculer la perte d'entropie croisée

Exercice en cours

Exercise 10: Utiliser les dérivées pour mettre à jour les paramètres du modèle Exercise 11: Accéder aux paramètres du modèle Exercise 12: Mettre à jour les poids manuellement Exercise 13: Utiliser l'optimiseur de PyTorch

Maintenant que vous connaissez les éléments clés d'un réseau neuronal, vous en entraînerez un à l'aide d'une boucle d'entraînement. Vous explorerez des problèmes potentiels comme l'atténuation des gradients et apprendrez des stratégies pour y remédier, notamment des fonctions d'activation de rechange et l'ajustement du taux d'apprentissage et du momentum.

Exercise 1: Approfondir le chargement des données Exercise 2: Utiliser TensorDataset Exercise 3: Utiliser DataLoader Exercise 4: Écrire notre première boucle d'entraînement Exercise 5: Utiliser MSELoss Exercise 6: Écrire une boucle d'entraînement Exercise 7: Fonctions d'activation ReLU Exercise 8: Implémenter ReLU Exercise 9: Implémenter Leaky ReLU Exercise 10: Comprendre les fonctions d'activation Exercise 11: Taux d'apprentissage et momentum Exercise 12: Expérimenter avec le taux d'apprentissage Exercise 13: Expérimenter avec le momentum

Entraîner un modèle de deep learning est un art, et pour s'assurer que notre modèle est correctement entraîné, nous devons suivre certaines mesures pendant l'entraînement, comme la perte ou la précision. Nous apprendrons à calculer ces mesures et à réduire le surapprentissage.

Exercise 1: Initialisation des couches et apprentissage par transfert Exercise 2: Processus d'ajustement fin Exercise 3: Geler des couches d'un modèle Exercise 4: Initialisation des couches Exercise 5: Évaluer la performance du modèle Exercise 6: Écrire la boucle d'évaluation Exercise 7: Calculer la justesse avec torchmetrics Exercise 8: Lutter contre le surapprentissage Exercise 9: Expérimenter avec le dropout Exercise 10: Comprendre le surapprentissage Exercise 11: Améliorer la performance du modèle Exercise 12: Mettre en œuvre une recherche aléatoire Exercise 13: Vidéo de conclusion