マスクを削除してプルーニングを確定する
モデルをプルーニングした後は、保存やデプロイの前に最終処理を行う必要があります。これは、プルーニングマスクを削除し、どの重みがゼロ化されたかをモデルが追跡しなくなるようにする処理です。この手順を完了するには、prune.remove() を使用します。
この演習はコースの一部です
PyTorch Lightning によるスケーラブルな AI モデルの構築
演習の手順
- weight パラメータのプルーニングを確定します。
prune.remove()を使ってマスクを削除し、最終的な重みを保存します。- モデルを出力して、プルーニングが削除されたことを確認します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
import torch.nn.utils.prune as prune
# Before pruning
print(model)
# Finalize pruning by removing the pruning mask
prune.____(model[3], "____")
# Print model structure after pruning
print(____)