Criando um DataLoader de trem

Agora que dividimos nosso conjunto de dados, precisamos definir um carregador de dados para fornecer lotes de dados durante o treinamento. O DataLoader carrega os dados na memória de forma eficiente e permite a reorganização para uma melhor generalização. Neste exercício, você vai completar o método “ train_dataloader ”.

Este exercício faz parte do curso

Modelos de IA escaláveis com PyTorch Lightning

Instruções do exercício

Importa o arquivo DataLoader.
Retorna um objeto ` DataLoader que carrega self.train_data`, permitindo a aleatoriedade para uma melhor generalização.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Import libraries
from torch.utils.data import ____
import lightning.pytorch as pl

class LoaderDataModule(pl.LightningDataModule):
    def __init__(self):
        super().__init__()
        self.train_data = None
        self.val_data = None
    def setup(self, stage=None):
        self.train_data, self.val_data = random_split(dataset, [80, 20])
    def train_dataloader(self):
      	# Complete DataLoader
        return ____(____, batch_size=16, shuffle=____)

Editar e executar o código

Este exercício faz parte do curso

Modelos de IA escaláveis com PyTorch Lightning

IntermediárioNível de habilidade

4.8+

Iniciar curso de graça

Neste capítulo, vamos ver como o PyTorch Lightning facilita o desenvolvimento e a implantação de modelos de IA escaláveis. Começando com os conceitos básicos, vamos ver a estrutura principal de um projeto PyTorch Lightning, incluindo componentes essenciais como o LightningModule e o Trainer, para criar uma base sólida para soluções de IA mais avançadas.

Exercise 1: Introdução ao PyTorch Lightning Exercise 2: Apresentando o LightningModule Exercise 3: Como usar o Lightning Trainer Exercise 4: Definindo modelos com o LightningModule Exercise 5: Como usar o LightningModule Exercise 6: Dominando o método init Exercise 7: Aperfeiçoando o método de avanço Exercise 8: Implementando a lógica do treinamento Exercise 9: Fazendo a etapa de treinamento Exercise 10: Configurando o otimizador Exercise 11: Treinar e avaliar

Neste capítulo, vamos mergulhar mais fundo no PyTorch Lightning para gerenciar dados de forma eficiente e refinar o treinamento de modelos. Vamos aprender a criar fluxos de trabalho de dados modulares e reutilizáveis com o LightningDataModule, avaliar seus modelos com precisão por meio de validação e testes e melhorar os processos de treinamento usando Lightning Callbacks para automatizar a melhoria do modelo e evitar o sobreajuste.

Exercise 1: Gerenciando dados com o LightningDataModule Exercise 2: Dividindo dados com o LightningDataModule Exercise 3: Criando um DataLoader de trem

Exercício atual

Exercise 4: Incorporando validação e testes Exercise 5: Fazendo a etapa de validação Exercise 6: Avalie a precisão do modelo usando o Torchmetrics Exercise 7: Melhorando o treinamento com retornos de chamada Lightning Exercise 8: Classificando callbacks Lightning Exercise 9: Otimizando o treinamento do modelo com o Lightning

Aprenda a preparar modelos de aprendizado profundo para implantação no mundo real, tornando-os mais enxutos e rápidos. Este capítulo apresenta técnicas como quantização dinâmica, poda e conversão TorchScript, ajudando você a reduzir o tamanho do modelo e a latência sem perder a precisão.

Exercise 1: Aplicando quantização dinâmica Exercise 2: Aplicar quantização dinâmica Exercise 3: Comparando o desempenho do modelo quantizado Exercise 4: Implementando técnicas de poda de modelos Exercise 5: Pode uma camada linear Exercise 6: Finalize a poda removendo a máscara.Exercise 7: Exportando modelos com TorchScript Exercise 8: Escolhendo o método de conversão certo Exercise 9: Otimizando modelos para escalabilidade Exercise 10: Resumo: Modelos de IA escaláveis com PyTorch Lightning