Aplicar la poda a una capa lineal

Hemos entrenado un modelo de clasificación de imágenes utilizando una capa totalmente conectada (lineal). Ahora, tenemos la tarea de aplicar la poda no estructurada a esta capa para reducir el tamaño del modelo sin afectar significativamente el rendimiento. Para esta tarea, utilizaremos el método « l1_unstructured » de PyTorch.

El modelo está precargado como en la variable model.

Este ejercicio forma parte del curso

Modelos de IA escalables con PyTorch Lightning

Instrucciones del ejercicio

Importa el módulo de poda desde torch.nn.utils.
Aplica una poda « l1_unstructured » a model[3], la capa final, y poda el 30 % de los pesos.

Ejercicio interactivo práctico

Prueba este ejercicio completando el código de muestra.

# Import pruning module
import torch.nn.utils.prune as ____
# Before pruning
print(model)
# Apply L1 unstructured pruning to model[3]
prune.____(model[3], name="____", amount=____)
# After pruning
print(model)

Editar y ejecutar código

Este ejercicio forma parte del curso

Modelos de IA escalables con PyTorch Lightning

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

En este capítulo, exploraremos cómo PyTorch Lightning simplifica el desarrollo y la implementación de modelos de IA escalables. Comenzando con los conceptos básicos, repasaremos la estructura central de un proyecto PyTorch Lightning, incluidos componentes esenciales como LightningModule y Trainer, para sentar unas bases sólidas para soluciones de IA más avanzadas.

Exercise 1: Introducción a PyTorch Lightning Exercise 2: Presentamos el LightningModule Exercise 3: Ejecutar Lightning Trainer Exercise 4: Definición de modelos con LightningModule Exercise 5: Uso del LightningModule Exercise 6: Dominar el método init Exercise 7: Perfeccionamiento del método hacia delante Exercise 8: Implementación de la lógica de formación Exercise 9: Implementación de la etapa de capacitación Exercise 10: Configuración del optimizador Exercise 11: Formación y evaluación

En este capítulo profundizaremos en PyTorch Lightning para gestionar datos de forma eficiente y perfeccionar el entrenamiento de modelos. Aprenderemos a crear flujos de trabajo de datos modulares y reutilizables con LightningDataModule, a evaluar tus modelos con precisión mediante la validación y las pruebas, y a mejorar los procesos de formación utilizando Lightning Callbacks para automatizar la mejora de los modelos y evitar el sobreajuste.

Exercise 1: Gestión de datos con LightningDataModule Exercise 2: Dividir datos con LightningDataModule Exercise 3: Creación de un DataLoader de tren Exercise 4: Incorporación de validación y pruebas Exercise 5: Implementación del paso de validación Exercise 6: Evalúa la precisión del modelo utilizando Torchmetrics.Exercise 7: Mejora de la formación con las devoluciones de llamada Lightning Exercise 8: Clasificación de las devoluciones de llamada Lightning Exercise 9: Optimización del entrenamiento de modelos con Lightning

Aprende a preparar modelos de aprendizaje profundo para su implementación en el mundo real haciéndolos más ágiles y rápidos. En este capítulo se presentan técnicas como la cuantificación dinámica, la poda y la conversión a TorchScript, que te ayudarán a reducir el tamaño y la latencia del modelo sin sacrificar la precisión.

Exercise 1: Aplicación de la cuantización dinámica Exercise 2: Aplicar cuantificación dinámica Exercise 3: Comparación del rendimiento del modelo cuantificado Exercise 4: Implementación de técnicas de poda de modelos Exercise 5: Aplicar la poda a una capa lineal

Ejercicio actual

Exercise 6: Finaliza la poda quitando la máscara.Exercise 7: Exportación de modelos con TorchScript Exercise 8: Elegir el método de conversión adecuado Exercise 9: Optimización de modelos para la escalabilidad Exercise 10: Resumen: Modelos de IA escalables con PyTorch Lightning