Mise en œuvre de la phase de formation

Dans cet exercice, vous allez implémenter la méthode training_step() dans un module PyTorch Lightning conçu pour une tâche de classification d'images. Votre implémentation doit décompresser un lot d'images et d'étiquettes, calculer les prédictions du modèle via le passage direct, calculer la perte d'entropie croisée et enregistrer la perte d'entraînement.

Cet exercice fait partie du cours

Modèles d'IA évolutifs avec PyTorch Lightning

Afficher le cours

Instructions

Veuillez vous assurer que vous calculez les prédictions à l'aide du passage direct.
Calculez la perte d'entropie croisée.
Enregistrez la perte d'entraînement.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

from torch.nn.functional import cross_entropy

def training_step(self, batch, batch_idx):
    x, y = batch
    # Ensure that you compute predictions using the forward pass
    y_hat = ____
    # Calculate the cross entropy loss
    loss = ____
    # Log the loss
    self.____("train_loss", loss)
    return loss

Modifier et exécuter le code

Cet exercice fait partie du cours

Modèles d'IA évolutifs avec PyTorch Lightning

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Dans ce chapitre, nous examinerons comment PyTorch Lightning simplifie le développement et le déploiement de modèles d'IA évolutifs. En commençant par les concepts fondamentaux, nous examinerons la structure centrale d'un projet PyTorch Lightning, y compris les composants essentiels tels que LightningModule et Trainer, afin de poser des bases solides pour des solutions d'IA plus avancées.

Exercise 1: Introduction à PyTorch Lightning Exercise 2: Présentation du LightningModule Exercise 3: Utilisation du Lightning Trainer Exercise 4: Définition de modèles avec LightningModule Exercise 5: Utilisation du module Lightning Exercise 6: Maîtriser la méthode init Exercise 7: Perfectionnement de la méthode avant Exercise 8: Mise en œuvre de la logique de formation Exercise 9: Mise en œuvre de la phase de formation

Exercice en cours

Exercise 10: Configuration de l'optimiseur Exercise 11: Formation et évaluation

Dans ce chapitre, nous approfondirons nos connaissances sur PyTorch Lightning afin de gérer efficacement les données et d'affiner l'entraînement des modèles. Nous apprendrons à créer des flux de données modulaires et réutilisables avec LightningDataModule, à évaluer vos modèles avec précision grâce à la validation et aux tests, et à améliorer les processus de formation à l'aide de Lightning Callbacks afin d'automatiser l'amélioration des modèles et d'éviter le surajustement.

Exercise 1: Gestion des données avec LightningDataModule Exercise 2: Diviser les données avec LightningDataModule Exercise 3: Création d'un DataLoader pour un train Exercise 4: Intégration de la validation et des tests Exercise 5: Mise en œuvre de l'étape de validation Exercise 6: Évaluer la précision du modèle à l'aide de Torchmetrics Exercise 7: Améliorer la formation grâce aux rappels Lightning Exercise 8: Classification des rappels Lightning Exercise 9: Optimisation de l'entraînement des modèles avec Lightning

Apprenez à préparer des modèles de deep learning pour un déploiement dans le monde réel en les rendant plus légers et plus rapides. Ce chapitre présente des techniques telles que la quantification dynamique, l'élagage et la conversion TorchScript, qui vous aideront à réduire la taille et la latence des modèles sans sacrifier la précision.

Exercise 1: Application de la quantification dynamique Exercise 2: Appliquer la quantification dynamique Exercise 3: Comparaison des performances des modèles quantifiés Exercise 4: Mise en œuvre de techniques d'élagage de modèles Exercise 5: Appliquer la taille à une couche linéaire Exercise 6: Terminez la taille en retirant le masque.Exercise 7: Exportation de modèles avec TorchScript Exercise 8: Choisir la bonne méthode de conversion Exercise 9: Optimisation des modèles pour l'évolutivité Exercise 10: Résumé : Modèles d'IA évolutifs avec PyTorch Lightning