Comparando o desempenho do modelo quantizado

Entender as melhorias de desempenho não é só uma questão de precisão. Os modelos quantizados geralmente oferecem tempos de inferência mais rápidos — uma grande vantagem em cenários de implantação. Você vai ver quanto tempo leva para os modelos original e quantizado processarem o conjunto de testes.

A função “ measure_time() ” já está pronta pra usar. Isso coloca o modelo no modo de avaliação, faz uma passagem direta em todos os lotes no carregador de dados e mostra o tempo que levou.

Tanto o model (o modelo original) quanto o model_quantized (a versão quantizada) já vêm pré-carregados junto com o test_loader.

Este exercício faz parte do curso

Modelos de IA escaláveis com PyTorch Lightning

Instruções do exercício

Calcule o tempo de inferência para os modelos originais e quantizados.
Imprima ambas as vezes arredondadas para duas casas decimais.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Measure inference time of the original model
original_time = measure_time(____)

# Measure inference time of the quantized model
quant_time = measure_time(____)

# Print results
print(f"Original Model Time: {____}s")
print(f"Quantized Model Time: {____}s")

Editar e executar o código

Este exercício faz parte do curso

Modelos de IA escaláveis com PyTorch Lightning

IntermediárioNível de habilidade

4.8+

Iniciar curso de graça

Neste capítulo, vamos ver como o PyTorch Lightning facilita o desenvolvimento e a implantação de modelos de IA escaláveis. Começando com os conceitos básicos, vamos ver a estrutura principal de um projeto PyTorch Lightning, incluindo componentes essenciais como o LightningModule e o Trainer, para criar uma base sólida para soluções de IA mais avançadas.

Exercise 1: Introdução ao PyTorch Lightning Exercise 2: Apresentando o LightningModule Exercise 3: Como usar o Lightning Trainer Exercise 4: Definindo modelos com o LightningModule Exercise 5: Como usar o LightningModule Exercise 6: Dominando o método init Exercise 7: Aperfeiçoando o método de avanço Exercise 8: Implementando a lógica do treinamento Exercise 9: Fazendo a etapa de treinamento Exercise 10: Configurando o otimizador Exercise 11: Treinar e avaliar

Neste capítulo, vamos mergulhar mais fundo no PyTorch Lightning para gerenciar dados de forma eficiente e refinar o treinamento de modelos. Vamos aprender a criar fluxos de trabalho de dados modulares e reutilizáveis com o LightningDataModule, avaliar seus modelos com precisão por meio de validação e testes e melhorar os processos de treinamento usando Lightning Callbacks para automatizar a melhoria do modelo e evitar o sobreajuste.

Exercise 1: Gerenciando dados com o LightningDataModule Exercise 2: Dividindo dados com o LightningDataModule Exercise 3: Criando um DataLoader de trem Exercise 4: Incorporando validação e testes Exercise 5: Fazendo a etapa de validação Exercise 6: Avalie a precisão do modelo usando o Torchmetrics Exercise 7: Melhorando o treinamento com retornos de chamada Lightning Exercise 8: Classificando callbacks Lightning Exercise 9: Otimizando o treinamento do modelo com o Lightning

Aprenda a preparar modelos de aprendizado profundo para implantação no mundo real, tornando-os mais enxutos e rápidos. Este capítulo apresenta técnicas como quantização dinâmica, poda e conversão TorchScript, ajudando você a reduzir o tamanho do modelo e a latência sem perder a precisão.

Exercise 1: Aplicando quantização dinâmica Exercise 2: Aplicar quantização dinâmica Exercise 3: Comparando o desempenho do modelo quantizado

Exercício atual

Exercise 4: Implementando técnicas de poda de modelos Exercise 5: Pode uma camada linear Exercise 6: Finalize a poda removendo a máscara.Exercise 7: Exportando modelos com TorchScript Exercise 8: Escolhendo o método de conversão certo Exercise 9: Otimizando modelos para escalabilidade Exercise 10: Resumo: Modelos de IA escaláveis com PyTorch Lightning