Creación de un DataLoader de tren

Ahora que hemos dividido nuestro conjunto de datos, necesitamos definir un cargador de datos para proporcionar lotes de datos durante el entrenamiento. DataLoader carga datos de forma eficiente en la memoria y permite mezclarlos para obtener una mejor generalización. En este ejercicio, completarás el método « train_dataloader ».

Este ejercicio forma parte del curso

Modelos de IA escalables con PyTorch Lightning

Instrucciones del ejercicio

Importa el archivo DataLoader.
Devuelve un objeto de tipo « DataLoader » que carga « self.train_data » y habilita la aleatorización para una mejor generalización.

Ejercicio interactivo práctico

Prueba este ejercicio completando el código de muestra.

# Import libraries
from torch.utils.data import ____
import lightning.pytorch as pl

class LoaderDataModule(pl.LightningDataModule):
    def __init__(self):
        super().__init__()
        self.train_data = None
        self.val_data = None
    def setup(self, stage=None):
        self.train_data, self.val_data = random_split(dataset, [80, 20])
    def train_dataloader(self):
      	# Complete DataLoader
        return ____(____, batch_size=16, shuffle=____)

Editar y ejecutar código

Este ejercicio forma parte del curso

Modelos de IA escalables con PyTorch Lightning

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

En este capítulo, exploraremos cómo PyTorch Lightning simplifica el desarrollo y la implementación de modelos de IA escalables. Comenzando con los conceptos básicos, repasaremos la estructura central de un proyecto PyTorch Lightning, incluidos componentes esenciales como LightningModule y Trainer, para sentar unas bases sólidas para soluciones de IA más avanzadas.

Exercise 1: Introducción a PyTorch Lightning Exercise 2: Presentamos el LightningModule Exercise 3: Ejecutar Lightning Trainer Exercise 4: Definición de modelos con LightningModule Exercise 5: Uso del LightningModule Exercise 6: Dominar el método init Exercise 7: Perfeccionamiento del método hacia delante Exercise 8: Implementación de la lógica de formación Exercise 9: Implementación de la etapa de capacitación Exercise 10: Configuración del optimizador Exercise 11: Formación y evaluación

En este capítulo profundizaremos en PyTorch Lightning para gestionar datos de forma eficiente y perfeccionar el entrenamiento de modelos. Aprenderemos a crear flujos de trabajo de datos modulares y reutilizables con LightningDataModule, a evaluar tus modelos con precisión mediante la validación y las pruebas, y a mejorar los procesos de formación utilizando Lightning Callbacks para automatizar la mejora de los modelos y evitar el sobreajuste.

Exercise 1: Gestión de datos con LightningDataModule Exercise 2: Dividir datos con LightningDataModule Exercise 3: Creación de un DataLoader de tren

Ejercicio actual

Exercise 4: Incorporación de validación y pruebas Exercise 5: Implementación del paso de validación Exercise 6: Evalúa la precisión del modelo utilizando Torchmetrics.Exercise 7: Mejora de la formación con las devoluciones de llamada Lightning Exercise 8: Clasificación de las devoluciones de llamada Lightning Exercise 9: Optimización del entrenamiento de modelos con Lightning

Aprende a preparar modelos de aprendizaje profundo para su implementación en el mundo real haciéndolos más ágiles y rápidos. En este capítulo se presentan técnicas como la cuantificación dinámica, la poda y la conversión a TorchScript, que te ayudarán a reducir el tamaño y la latencia del modelo sin sacrificar la precisión.

Exercise 1: Aplicación de la cuantización dinámica Exercise 2: Aplicar cuantificación dinámica Exercise 3: Comparación del rendimiento del modelo cuantificado Exercise 4: Implementación de técnicas de poda de modelos Exercise 5: Aplicar la poda a una capa lineal Exercise 6: Finaliza la poda quitando la máscara.Exercise 7: Exportación de modelos con TorchScript Exercise 8: Elegir el método de conversión adecuado Exercise 9: Optimización de modelos para la escalabilidad Exercise 10: Resumen: Modelos de IA escalables con PyTorch Lightning