Terapkan pruning pada lapisan linear
Kita telah melatih model klasifikasi gambar menggunakan lapisan fully connected (linear). Sekarang, tugas kita adalah menerapkan unstructured pruning pada lapisan ini untuk mengurangi ukuran model tanpa berdampak signifikan pada kinerja. Kita akan menggunakan metode l1_unstructured dari PyTorch untuk tugas ini.
Model sudah dimuat sebelumnya dalam variabel model.
Latihan ini merupakan bagian dari kursus
Model AI yang Dapat Diskalakan dengan PyTorch Lightning
Instruksi latihan
- Impor modul pruning dari
torch.nn.utils. - Terapkan pruning
l1_unstructuredpadamodel[3], yaitu lapisan terakhir, dan pangkas 30% bobotnya.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Import pruning module
import torch.nn.utils.prune as ____
# Before pruning
print(model)
# Apply L1 unstructured pruning to model[3]
prune.____(model[3], name="____", amount=____)
# After pruning
print(model)