Prestaties van het gequantiseerde model vergelijken

Prestaties gaan niet alleen over nauwkeurigheid. Gequantiseerde modellen leveren vaak snellere inferentietijden—een belangrijk voordeel bij productie. Je gaat meten hoe lang het duurt voordat zowel het originele als het gequantiseerde model de testset verwerkt.

De functie measure_time() is al gedefinieerd. Deze zet het model in evaluatiemodus, voert een forward pass uit over alle batches in de dataloader en geeft de verstreken tijd terug.

Zowel model (het originele model) als model_quantized (de gequantiseerde versie) zijn vooraf geladen, net als test_loader.

Deze oefening maakt deel uit van de cursus

Schaalbare AI-modellen met PyTorch Lightning

Cursus bekijken

Oefeninstructies

Bereken de inferentietijd voor het originele en het gequantiseerde model.
Print beide tijden, afgerond op twee decimalen.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Measure inference time of the original model
original_time = measure_time(____)

# Measure inference time of the quantized model
quant_time = measure_time(____)

# Print results
print(f"Original Model Time: {____}s")
print(f"Quantized Model Time: {____}s")

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Schaalbare AI-modellen met PyTorch Lightning

SkillTag.level.intermediateSkillTag.label

4.8+

Begin de cursus gratis

In this chapter, we'll explore how PyTorch Lightning simplifies the development and deployment of scalable AI models. Starting with foundational concepts, we'll go through the core structure of a PyTorch Lightning project, including essential components like the LightningModule and Trainer, to set a strong foundation for more advanced AI solutions.

Exercise 1: Introduction to PyTorch Lightning Exercise 2: Introducing the LightningModule Exercise 3: Running the Lightning Trainer Exercise 4: Defining models with LightningModule Exercise 5: Usage of the LightningModule Exercise 6: Mastering the init method Exercise 7: Perfecting the forward method Exercise 8: Implementing training logic Exercise 9: Implementing the training step Exercise 10: Configuring the optimizer Exercise 11: Training and evaluating

We'll dive deeper into PyTorch Lightning to efficiently manage data and refine model training in this chapter. We'll learn how to create modular and reusable data workflows with LightningDataModule, evaluate your models accurately through validation and testing, and enhance training processes using Lightning Callbacks to automate model improvement and avoid overfitting.

Exercise 1: Managing data with LightningDataModule Exercise 2: Splitting data with LightningDataModule Exercise 3: Creating a train DataLoader Exercise 4: Incorporating validation and testing Exercise 5: Implementing the validation step Exercise 6: Evaluate model accuracy using Torchmetrics Exercise 7: Enhancing training with Lightning callbacks Exercise 8: Classifying Lightning callbacks Exercise 9: Optimizing model training with Lightning

Learn to prepare deep learning models for real-world deployment by making them leaner and faster. This chapter introduces techniques such as dynamic quantization, pruning, and TorchScript conversion, helping you reduce model size and latency without sacrificing accuracy

Exercise 1: Dynamische kwantisatie toepassen Exercise 2: Pas dynamische quantization toe Exercise 3: Prestaties van het gequantiseerde model vergelijken

Huidige oefening

Exercise 4: Pruningtechnieken voor modellen toepassen Exercise 5: Pas pruning toe op een lineaire laag Exercise 6: Rond het snoeien af door het masker te verwijderen Exercise 7: Modellen exporteren met TorchScript Exercise 8: De juiste conversiemethode kiezen Exercise 9: Modellen optimaliseren voor schaalbaarheid Exercise 10: Samenvatting: Scalable AI Models with PyTorch Lightning