Modellen optimaliseren voor schaalbaarheid
AI-modellen efficiënt uitrollen is cruciaal voor toepassingen in de echte wereld, waar inference-snelheid, modelgrootte en rekenefficiëntie tellen. Nu testen we of je modellen kunt opslaan en laden voor deployment. Je gebruikt technieken zoals exporteren met TorchScript om de workflow af te ronden. De gebruikte gegevensset is een variant op de MNIST-gegevensset.
Als je deze oefening afrondt, heb je een model voorbereid dat is geoptimaliseerd voor deployment, terwijl je de geavanceerde technieken uit deze les toepast.
De gegevenssets X_test, y_test en torch.jit zijn alvast voor je geladen.
Deze oefening maakt deel uit van de cursus
Schaalbare AI-modellen met PyTorch Lightning
Oefeninstructies
- Exporteer het model naar TorchScript met de functie
trace. - Sla het model op als TorchScript.
- Laad het opgeslagen model.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Export model to TorchScript
scripted_model = torch.jit.____(model, torch.tensor(X_test[:1], dtype=torch.float32).unsqueeze(1))
# Save model to TorchScript
torch.jit.____(scripted_model, 'model.pt')
# Loaded saved model
loaded_model = torch.jit.____('____.pt')
# Validate inference on test dataset
test_loader = DataLoader(TensorDataset(torch.tensor(X_test, dtype=torch.float32).unsqueeze(1), ____), batch_size=64)
accuracy = evaluate_model(loaded_model, test_loader)
print(f"Optimized model accuracy: {accuracy:.2%}")