為擴充性最佳化模型
在真實情境中部署 AI 模型時，推論速度、模型大小與計算效率都很重要，因此有效率的部署至關重要。現在要測試你將模型儲存與載入以供部署的能力。你會使用像 TorchScript 匯出這類技巧來完成整個流程。所用資料集為 MNIST 的變體。
完成本練習後，你會把模型準備成適合部署的最佳化版本，並運用本課所學的進階技巧。
X_test、y_test 資料集以及 torch.jit 已為你預先載入。
本練習屬於課程
Scalable AI Models with PyTorch Lightning
練習說明
- 使用
trace函式將模型匯出為 TorchScript。 - 將模型儲存為 TorchScript。
- 載入已儲存的模型。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
# Export model to TorchScript
scripted_model = torch.jit.____(model, torch.tensor(X_test[:1], dtype=torch.float32).unsqueeze(1))
# Save model to TorchScript
torch.jit.____(scripted_model, 'model.pt')
# Loaded saved model
loaded_model = torch.jit.____('____.pt')
# Validate inference on test dataset
test_loader = DataLoader(TensorDataset(torch.tensor(X_test, dtype=torch.float32).unsqueeze(1), ____), batch_size=64)
accuracy = evaluate_model(loaded_model, test_loader)
print(f"Optimized model accuracy: {accuracy:.2%}")