Terapkan pruning pada lapisan linear
Kita telah melatih model klasifikasi gambar menggunakan lapisan fully connected (linear). Sekarang, tugas kita adalah menerapkan unstructured pruning pada lapisan ini untuk mengurangi ukuran model tanpa berdampak signifikan pada kinerja. Kita akan menggunakan metode l1_unstructured dari PyTorch untuk tugas ini.
Model sudah dimuat sebelumnya dalam variabel model.
Latihan ini adalah bagian dari kursus
Model AI yang Dapat Diskalakan dengan PyTorch Lightning
Petunjuk latihan
- Impor modul pruning dari
torch.nn.utils. - Terapkan pruning
l1_unstructuredpadamodel[3], yaitu lapisan terakhir, dan pangkas 30% bobotnya.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Import pruning module
import torch.nn.utils.prune as ____
# Before pruning
print(model)
# Apply L1 unstructured pruning to model[3]
prune.____(model[3], name="____", amount=____)
# After pruning
print(model)