Začněte nyníZačněte zdarma

Optimalizace modelů pro škálovatelnost

Efektivní nasazení AI modelů je klíčové pro reálné aplikace, kde záleží na rychlosti inference, velikosti modelu i výpočetní náročnosti. V tomto cvičení si ověříš, jak ukládat a načítat modely připravené k nasazení. K dokončení celého postupu využiješ techniky jako export pomocí TorchScriptu. Jako dataset slouží varianta datové sady MNIST.

Po dokončení tohoto cvičení budeš mít model připravený k nasazení s využitím pokročilých technik z této lekce.

Datasety X_test a y_test a také torch.jit jsou pro tebe předem načteny.

Toto cvičení je součástí kurzu

Škálovatelné modely AI s PyTorch Lightning

Zobrazit kurz

Pokyny k cvičení

  • Exportuj model do TorchScriptu pomocí funkce trace.
  • Ulož model ve formátu TorchScript.
  • Načti uložený model.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Export model to TorchScript
scripted_model = torch.jit.____(model, torch.tensor(X_test[:1], dtype=torch.float32).unsqueeze(1))
# Save model to TorchScript
torch.jit.____(scripted_model, 'model.pt')

# Loaded saved model
loaded_model = torch.jit.____('____.pt')
# Validate inference on test dataset
test_loader = DataLoader(TensorDataset(torch.tensor(X_test, dtype=torch.float32).unsqueeze(1), ____), batch_size=64)

accuracy = evaluate_model(loaded_model, test_loader)

print(f"Optimized model accuracy: {accuracy:.2%}")
Upravit a spustit kód