動的量子化を適用する
デプロイ用のニューラルネットワークモデルの学習が完了しました。次は、動的量子化を使ってこのモデルを最適化します。リソースが限られた環境でモデルを効率的にデプロイするには、このステップが欠かせません。
model はすでに読み込まれています。
この演習はコースの一部です
PyTorch Lightning によるスケーラブルな AI モデルの構築
演習の手順
- PyTorch から量子化に必要なモジュールをインポートします。
- 線形レイヤーを対象に、8 ビット整数精度を使って動的量子化を適用します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)