Dividir datos con LightningDataModule

Completarás el método « setup » (Comer, beber y dormir) en un « LightningDataModule » (Diario de control de la actividad). La partición adecuada del conjunto de datos garantiza que el modelo se entrene en un subconjunto y se valide en otro, lo que evita el sobreajuste.

El « dataset » ya ha sido preimportado.

Este ejercicio forma parte del curso

Modelos de IA escalables con PyTorch Lightning

Instrucciones del ejercicio

Importa random_split para dividir el conjunto de datos en entrenamiento y validación.
Divide el conjunto de datos en entrenamiento (80 %) y validación (20 %) utilizando random_split.

Ejercicio interactivo práctico

Prueba este ejercicio completando el código de muestra.

# Import libraries 
import lightning.pytorch as pl
from torch.utils.data import ____

class SplitDataModule(pl.LightningDataModule):
    def __init__(self):
        super().__init__()
        self.train_data = None
        self.val_data = None
    def setup(self, stage=None):
        # Split the dataset into training (80%) and validation (20%)
        self.____, self.____ = random_split(dataset, [____, ____])

Editar y ejecutar código

Este ejercicio forma parte del curso

Modelos de IA escalables con PyTorch Lightning

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

En este capítulo, exploraremos cómo PyTorch Lightning simplifica el desarrollo y la implementación de modelos de IA escalables. Comenzando con los conceptos básicos, repasaremos la estructura central de un proyecto PyTorch Lightning, incluidos componentes esenciales como LightningModule y Trainer, para sentar unas bases sólidas para soluciones de IA más avanzadas.

Exercise 1: Introducción a PyTorch Lightning Exercise 2: Presentamos el LightningModule Exercise 3: Ejecutar Lightning Trainer Exercise 4: Definición de modelos con LightningModule Exercise 5: Uso del LightningModule Exercise 6: Dominar el método init Exercise 7: Perfeccionamiento del método hacia delante Exercise 8: Implementación de la lógica de formación Exercise 9: Implementación de la etapa de capacitación Exercise 10: Configuración del optimizador Exercise 11: Formación y evaluación

En este capítulo profundizaremos en PyTorch Lightning para gestionar datos de forma eficiente y perfeccionar el entrenamiento de modelos. Aprenderemos a crear flujos de trabajo de datos modulares y reutilizables con LightningDataModule, a evaluar tus modelos con precisión mediante la validación y las pruebas, y a mejorar los procesos de formación utilizando Lightning Callbacks para automatizar la mejora de los modelos y evitar el sobreajuste.

Exercise 1: Gestión de datos con LightningDataModule Exercise 2: Dividir datos con LightningDataModule

Ejercicio actual

Exercise 3: Creación de un DataLoader de tren Exercise 4: Incorporación de validación y pruebas Exercise 5: Implementación del paso de validación Exercise 6: Evalúa la precisión del modelo utilizando Torchmetrics.Exercise 7: Mejora de la formación con las devoluciones de llamada Lightning Exercise 8: Clasificación de las devoluciones de llamada Lightning Exercise 9: Optimización del entrenamiento de modelos con Lightning

Aprende a preparar modelos de aprendizaje profundo para su implementación en el mundo real haciéndolos más ágiles y rápidos. En este capítulo se presentan técnicas como la cuantificación dinámica, la poda y la conversión a TorchScript, que te ayudarán a reducir el tamaño y la latencia del modelo sin sacrificar la precisión.

Exercise 1: Aplicación de la cuantización dinámica Exercise 2: Aplicar cuantificación dinámica Exercise 3: Comparación del rendimiento del modelo cuantificado Exercise 4: Implementación de técnicas de poda de modelos Exercise 5: Aplicar la poda a una capa lineal Exercise 6: Finaliza la poda quitando la máscara.Exercise 7: Exportación de modelos con TorchScript Exercise 8: Elegir el método de conversión adecuado Exercise 9: Optimización de modelos para la escalabilidad Exercise 10: Resumen: Modelos de IA escalables con PyTorch Lightning