Aan de slagBegin gratis

Modellen optimaliseren voor schaalbaarheid

AI-modellen efficiënt uitrollen is cruciaal voor toepassingen in de echte wereld, waar inference-snelheid, modelgrootte en rekenefficiëntie tellen. Nu testen we of je modellen kunt opslaan en laden voor deployment. Je gebruikt technieken zoals exporteren met TorchScript om de workflow af te ronden. De gebruikte gegevensset is een variant op de MNIST-gegevensset.

Als je deze oefening afrondt, heb je een model voorbereid dat is geoptimaliseerd voor deployment, terwijl je de geavanceerde technieken uit deze les toepast.

De gegevenssets X_test, y_test en torch.jit zijn alvast voor je geladen.

Deze oefening maakt deel uit van de cursus

Schaalbare AI-modellen met PyTorch Lightning

Bekijk cursus

Oefeninstructies

  • Exporteer het model naar TorchScript met de functie trace.
  • Sla het model op als TorchScript.
  • Laad het opgeslagen model.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Export model to TorchScript
scripted_model = torch.jit.____(model, torch.tensor(X_test[:1], dtype=torch.float32).unsqueeze(1))
# Save model to TorchScript
torch.jit.____(scripted_model, 'model.pt')

# Loaded saved model
loaded_model = torch.jit.____('____.pt')
# Validate inference on test dataset
test_loader = DataLoader(TensorDataset(torch.tensor(X_test, dtype=torch.float32).unsqueeze(1), ____), batch_size=64)

accuracy = evaluate_model(loaded_model, test_loader)

print(f"Optimized model accuracy: {accuracy:.2%}")
Code bewerken en uitvoeren