Calcul de la perte d’entropie croisée

La perte d’entropie croisée est une méthode largement utilisée pour mesurer la perte de classification. Dans cet exercice, vous calculerez la perte d’entropie croisée dans PyTorch en utilisant :

y : l’étiquette de la vérité terrain.
scores : un vecteur de prédictions avant softmax.

Les fonctions de perte aident les réseaux neuronaux à apprendre en mesurant les erreurs de prédiction. Créez un vecteur encodé one-hot pour y, définissez la fonction de perte d’entropie croisée et calculez la perte à l’aide de scores et de l’étiquette encodée. Le résultat sera un flottant unique représentant la perte de l’échantillon.

torch, CrossEntropyLoss, et torch.nn.functional (sous le nom F) ont déjà été importés pour vous.

Cet exercice fait partie du cours

Introduction au deep learning avec PyTorch

Afficher le cours

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

import torch
import torch.nn.functional as F
from torch.nn import CrossEntropyLoss

y = [2]
scores = torch.tensor([[0.1, 6.0, -2.0, 3.2]])

# Create a one-hot encoded vector of the label y
one_hot_label = F.____(torch.____(____), num_classes=____)

Modifier et exécuter le code

Cet exercice fait partie du cours

Introduction au deep learning avec PyTorch

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Voitures autonomes, smartphones, moteurs de recherche... Le deep learning est désormais omniprésent. Avant de commencer à construire des modèles complexes, vous vous familiariserez avec PyTorch, un framework de deep learning. Vous apprendrez à manipuler les tenseurs, à créer des structures de données PyTorch et à construire votre premier réseau neuronal dans PyTorch à l’aide des couches linéaires.

Exercise 1: Introduction au deep learning avec PyTorch Exercise 2: Débuter avec les tenseurs PyTorch Exercise 3: Vérification et addition de tenseurs Exercise 4: Réseaux neuronaux et couches Exercise 5: Réseau à couches linéaires Exercise 6: Comprendre les poids Exercise 7: Couches cachées et paramètres Exercise 8: Votre premier réseau neuronal Exercise 9: Empilement de couches linéaires Exercise 10: Compter le nombre de paramètres

Pour entraîner un réseau neuronal dans PyTorch, vous devez d’abord comprendre les composants supplémentaires, tels que les fonctions d’activation et de perte. Vous comprendrez alors que pour entraîner un réseau, il faut minimiser cette fonction de perte, ce qui se fait en calculant les gradients. Vous apprendrez à utiliser ces gradients pour mettre à jour les paramètres de votre modèle.

Exercise 1: Découverte des fonctions d’activation Exercise 2: Activez votre compréhension !Exercise 3: Les fonctions sigmoid et softmax Exercise 4: Exécution d’une passe avant Exercise 5: Construire un classificateur binaire avec PyTorch Exercise 6: De la régression à la classification multiclasses Exercise 7: Utilisation de fonctions de perte pour évaluer les prédictions des modèles Exercise 8: Création d’étiquettes encodées one-hot Exercise 9: Calcul de la perte d’entropie croisée

Exercice en cours

Exercise 10: Utilisation des dérivées pour mettre à jour les paramètres du modèle Exercise 11: Accès aux paramètres du modèle Exercise 12: Mise à jour manuelle des poids Exercise 13: Utilisation de l’optimiseur PyTorch

Maintenant que vous avez appris les principaux composants d’un réseau neuronal, vous allez en entraîner un à l’aide d’une boucle d’apprentissage. Vous explorerez des problèmes potentiels tels que la disparition des gradients et apprendrez des stratégies pour y remédier, telles que des fonctions d’activation alternatives et le réglage du taux d’apprentissage et du momentum.

Exercise 1: Approfondissement du chargement des données Exercise 2: Utilisation de TensorDataset Exercise 3: Utilisation de DataLoader Exercise 4: Rédaction de notre première boucle d’apprentissage Exercise 5: Utilisation de MSELoss Exercise 6: Écrire une boucle d’apprentissage Exercise 7: Fonctions d’activation ReLU Exercise 8: Mise en œuvre de ReLU Exercise 9: Mise en œuvre de LeakyReLU Exercise 10: Comprendre les fonctions d’activation Exercise 11: Taux d’apprentissage et dynamique Exercise 12: Expérimenter avec le taux d’apprentissage Exercise 13: Expérimenter avec la dynamique (momentum)

Entraîner un modèle de deep learning est un art, et pour s’assurer que notre modèle est correctement entraîné, nous devons suivre certaines métriques pendant l’entraînement, comme la perte ou la précision. Nous apprendrons à calculer ces mesures et à réduire le surajustement.

Exercise 1: Initialisation des couches et apprentissage par transfert Exercise 2: Processus d’affinement Exercise 3: Geler des couches d’un modèle Exercise 4: Initialisation des couches Exercise 5: Mesurer la performance du modèle Exercise 6: Rédaction de la boucle d'évaluation Exercise 7: Calcul de la précision à l’aide des métriques torch (torchmetrics)Exercise 8: Lutter contre le surajustement Exercise 9: Expérimenter avec le dropout Exercise 10: Comprendre le surajustement Exercise 11: Améliorer la performance du modèle Exercise 12: Implémentation de la recherche aléatoire Exercise 13: Vidéo de conclusion