Zacznij terazZacznij za darmo

Optymalizacja modeli pod kątem skalowalności

Efektywne wdrażanie modeli AI jest kluczowe w rzeczywistych zastosowaniach, gdzie liczy się szybkość wnioskowania, rozmiar modelu i wydajność obliczeniowa. W tym ćwiczeniu sprawdzisz umiejętność zapisywania i wczytywania modeli na potrzeby wdrożenia. Wykorzystasz techniki takie jak eksport do formatu TorchScript, aby ukończyć cały przepływ pracy. Używany zbiór danych jest wariantem zbioru MNIST.

Po ukończeniu tego ćwiczenia będziesz mieć gotowy model zoptymalizowany do wdrożenia, stosując zaawansowane techniki poznane w tej lekcji.

Zbiory danych X_test i y_test oraz moduł torch.jit zostały wstępnie załadowane.

To ćwiczenie jest częścią kursu

Skalowalne modele AI z PyTorch Lightning

Zobacz kurs

Instrukcje do ćwiczenia

  • Wyeksportuj model do formatu TorchScript, używając funkcji trace.
  • Zapisz model w formacie TorchScript.
  • Wczytaj zapisany model.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Export model to TorchScript
scripted_model = torch.jit.____(model, torch.tensor(X_test[:1], dtype=torch.float32).unsqueeze(1))
# Save model to TorchScript
torch.jit.____(scripted_model, 'model.pt')

# Loaded saved model
loaded_model = torch.jit.____('____.pt')
# Validate inference on test dataset
test_loader = DataLoader(TensorDataset(torch.tensor(X_test, dtype=torch.float32).unsqueeze(1), ____), batch_size=64)

accuracy = evaluate_model(loaded_model, test_loader)

print(f"Optimized model accuracy: {accuracy:.2%}")
Edytuj i uruchom kod