Appliquer la quantification dynamique

Vous avez formé avec succès un modèle de réseau neuronal en vue de son déploiement et vous souhaitez maintenant l'optimiser à l'aide de la quantification dynamique. Cette étape est cruciale pour déployer efficacement votre modèle dans des environnements aux ressources limitées.

Le logiciel de gestion de la santé et de la sécurité au travail « model » a été préinstallé.

Cet exercice fait partie du cours

<cours>Modèles d'IA évolutifs avec PyTorch Lightning</cours>

Instructions de l’exercice

Importez le module de quantification nécessaire depuis PyTorch.
Appliquez une quantification dynamique ciblant les couches linéaires, en utilisant une précision entière de 8 bits.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

import torch
# Import the necessary quantization module
from torch.quantization import ____

# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
    ____, {torch.nn.____}, dtype=torch.____
)

Modifier et exécuter le code

Cet exercice fait partie du cours

<cours>Modèles d'IA évolutifs avec PyTorch Lightning</cours>

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Dans ce chapitre, nous examinerons comment PyTorch Lightning simplifie le développement et le déploiement de modèles d'IA évolutifs. En commençant par les concepts fondamentaux, nous examinerons la structure centrale d'un projet PyTorch Lightning, y compris les composants essentiels tels que LightningModule et Trainer, afin de poser des bases solides pour des solutions d'IA plus avancées.

Exercise 1: Introduction à PyTorch Lightning Exercise 2: Présentation du LightningModule Exercise 3: Utilisation du Lightning Trainer Exercise 4: Définition de modèles avec LightningModule Exercise 5: Utilisation du module Lightning Exercise 6: Maîtriser la méthode init Exercise 7: Perfectionnement de la méthode avant Exercise 8: Mise en œuvre de la logique de formation Exercise 9: Mise en œuvre de la phase de formation Exercise 10: Configuration de l'optimiseur Exercise 11: Formation et évaluation

Dans ce chapitre, nous approfondirons nos connaissances sur PyTorch Lightning afin de gérer efficacement les données et d'affiner l'entraînement des modèles. Nous apprendrons à créer des flux de données modulaires et réutilisables avec LightningDataModule, à évaluer vos modèles avec précision grâce à la validation et aux tests, et à améliorer les processus de formation à l'aide de Lightning Callbacks afin d'automatiser l'amélioration des modèles et d'éviter le surajustement.

Exercise 1: Gestion des données avec LightningDataModule Exercise 2: Diviser les données avec LightningDataModule Exercise 3: Création d'un DataLoader pour un train Exercise 4: Intégration de la validation et des tests Exercise 5: Mise en œuvre de l'étape de validation Exercise 6: Évaluer la précision du modèle à l'aide de Torchmetrics Exercise 7: Améliorer la formation grâce aux rappels Lightning Exercise 8: Classification des rappels Lightning Exercise 9: Optimisation de l'entraînement des modèles avec Lightning

Apprenez à préparer des modèles de deep learning pour un déploiement dans le monde réel en les rendant plus légers et plus rapides. Ce chapitre présente des techniques telles que la quantification dynamique, l'élagage et la conversion TorchScript, qui vous aideront à réduire la taille et la latence des modèles sans sacrifier la précision.

Exercise 1: Application de la quantification dynamique Exercise 2: Appliquer la quantification dynamique

Exercice actuel

Exercise 3: Comparaison des performances des modèles quantifiés Exercise 4: Mise en œuvre de techniques d'élagage de modèles Exercise 5: Appliquer la taille à une couche linéaire Exercise 6: Terminez la taille en retirant le masque.Exercise 7: Exportation de modèles avec TorchScript Exercise 8: Choisir la bonne méthode de conversion Exercise 9: Optimisation des modèles pour l'évolutivité Exercise 10: Résumé : Modèles d'IA évolutifs avec PyTorch Lightning