Tối ưu hóa mô hình để mở rộng quy mô
Triển khai mô hình AI hiệu quả là yếu tố then chốt trong các ứng dụng thực tế, nơi tốc độ suy luận, kích thước mô hình và hiệu quả tính toán đều quan trọng. Giờ bạn sẽ kiểm tra khả năng lưu và tải mô hình để triển khai. Bạn sẽ dùng các kỹ thuật như xuất TorchScript để hoàn tất quy trình. Bộ dữ liệu sử dụng là một biến thể của bộ MNIST.
Hoàn thành bài tập này, bạn sẽ chuẩn bị được một mô hình tối ưu cho triển khai, đồng thời áp dụng các kỹ thuật nâng cao đã học trong bài học này.
Các tập dữ liệu X_test, y_test cũng như torch.jit đã được nạp sẵn cho bạn.
Bài tập này là một phần của khóa học
Mô hình AI có khả năng mở rộng với PyTorch Lightning
Hướng dẫn bài tập
- Xuất mô hình sang TorchScript bằng hàm
trace. - Lưu mô hình ở định dạng TorchScript.
- Tải lại mô hình đã lưu.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Export model to TorchScript
scripted_model = torch.jit.____(model, torch.tensor(X_test[:1], dtype=torch.float32).unsqueeze(1))
# Save model to TorchScript
torch.jit.____(scripted_model, 'model.pt')
# Loaded saved model
loaded_model = torch.jit.____('____.pt')
# Validate inference on test dataset
test_loader = DataLoader(TensorDataset(torch.tensor(X_test, dtype=torch.float32).unsqueeze(1), ____), batch_size=64)
accuracy = evaluate_model(loaded_model, test_loader)
print(f"Optimized model accuracy: {accuracy:.2%}")