Dividindo dados com o LightningDataModule

Você vai terminar o método “ setup ” em um “ LightningDataModule ”. A divisão certa dos conjuntos de dados garante que o modelo seja treinado em um subconjunto e validado em outro, evitando o sobreajuste.

O dataset já foi pré-importado.

Este exercício faz parte do curso

Modelos de IA escaláveis com PyTorch Lightning

Instruções do exercício

Importa o arquivo “ random_split ” pra dividir o conjunto de dados em treinamento e validação.
Divida o conjunto de dados em treinamento (80%) e validação (20%) usando random_split.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Import libraries 
import lightning.pytorch as pl
from torch.utils.data import ____

class SplitDataModule(pl.LightningDataModule):
    def __init__(self):
        super().__init__()
        self.train_data = None
        self.val_data = None
    def setup(self, stage=None):
        # Split the dataset into training (80%) and validation (20%)
        self.____, self.____ = random_split(dataset, [____, ____])

Editar e executar o código

Este exercício faz parte do curso

Modelos de IA escaláveis com PyTorch Lightning

IntermediárioNível de habilidade

4.8+

Iniciar curso de graça

Neste capítulo, vamos ver como o PyTorch Lightning facilita o desenvolvimento e a implantação de modelos de IA escaláveis. Começando com os conceitos básicos, vamos ver a estrutura principal de um projeto PyTorch Lightning, incluindo componentes essenciais como o LightningModule e o Trainer, para criar uma base sólida para soluções de IA mais avançadas.

Exercise 1: Introdução ao PyTorch Lightning Exercise 2: Apresentando o LightningModule Exercise 3: Como usar o Lightning Trainer Exercise 4: Definindo modelos com o LightningModule Exercise 5: Como usar o LightningModule Exercise 6: Dominando o método init Exercise 7: Aperfeiçoando o método de avanço Exercise 8: Implementando a lógica do treinamento Exercise 9: Fazendo a etapa de treinamento Exercise 10: Configurando o otimizador Exercise 11: Treinar e avaliar

Neste capítulo, vamos mergulhar mais fundo no PyTorch Lightning para gerenciar dados de forma eficiente e refinar o treinamento de modelos. Vamos aprender a criar fluxos de trabalho de dados modulares e reutilizáveis com o LightningDataModule, avaliar seus modelos com precisão por meio de validação e testes e melhorar os processos de treinamento usando Lightning Callbacks para automatizar a melhoria do modelo e evitar o sobreajuste.

Exercise 1: Gerenciando dados com o LightningDataModule Exercise 2: Dividindo dados com o LightningDataModule

Exercício atual

Exercise 3: Criando um DataLoader de trem Exercise 4: Incorporando validação e testes Exercise 5: Fazendo a etapa de validação Exercise 6: Avalie a precisão do modelo usando o Torchmetrics Exercise 7: Melhorando o treinamento com retornos de chamada Lightning Exercise 8: Classificando callbacks Lightning Exercise 9: Otimizando o treinamento do modelo com o Lightning

Aprenda a preparar modelos de aprendizado profundo para implantação no mundo real, tornando-os mais enxutos e rápidos. Este capítulo apresenta técnicas como quantização dinâmica, poda e conversão TorchScript, ajudando você a reduzir o tamanho do modelo e a latência sem perder a precisão.

Exercise 1: Aplicando quantização dinâmica Exercise 2: Aplicar quantização dinâmica Exercise 3: Comparando o desempenho do modelo quantizado Exercise 4: Implementando técnicas de poda de modelos Exercise 5: Pode uma camada linear Exercise 6: Finalize a poda removendo a máscara.Exercise 7: Exportando modelos com TorchScript Exercise 8: Escolhendo o método de conversão certo Exercise 9: Otimizando modelos para escalabilidade Exercise 10: Resumo: Modelos de IA escaláveis com PyTorch Lightning