Áp dụng pruning cho một lớp linear
Chúng ta đã huấn luyện một mô hình phân loại ảnh sử dụng một lớp fully connected (linear). Bây giờ, nhiệm vụ là áp dụng unstructured pruning cho lớp này để giảm kích thước mô hình mà không ảnh hưởng đáng kể đến hiệu năng. Ta sẽ dùng phương thức l1_unstructured của PyTorch cho tác vụ này.
Mô hình đã được nạp sẵn trong biến model.
Bài tập này là một phần của khóa học
Mô hình AI có khả năng mở rộng với PyTorch Lightning
Hướng dẫn bài tập
- Import mô-đun pruning từ
torch.nn.utils. - Áp dụng pruning
l1_unstructuredchomodel[3], lớp cuối cùng, và prune 30% trọng số.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import pruning module
import torch.nn.utils.prune as ____
# Before pruning
print(model)
# Apply L1 unstructured pruning to model[3]
prune.____(model[3], name="____", amount=____)
# After pruning
print(model)