始める無料で始める

8-bit モデルの読み込み

あなたの会社では、顧客対応のチャットボットに Llama モデルをしばらく使っています。あなたは、パフォーマンスを大きく落とさずにモデルの GPU メモリ使用量を減らす方法を検討する担当になりました。これが実現できれば、より安価な計算クラスターに切り替えて大幅なコスト削減が期待できます。

まずは、モデルを 8-bit 量子化で読み込んでも妥当な性能を維持できるかをテストすることにします。

モデル名は model_name で与えられています。AutoModelForCausalLM と AutoTokenizer はすでにインポート済みです。

この演習はコースの一部です

Llama 3 のファインチューニング

コースを見る

演習の手順

  • 量子化付きでモデルを読み込めるように、設定用のクラスをインポートします。
  • 量子化設定クラスのインスタンスを作成します。
  • モデルを 8-bit で読み込むように量子化パラメータを設定します。
  • 量子化設定を AutoModelForCausalLM に渡し、量子化済みモデルを読み込みます。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Import quantization configuration class
from ____ import ____
# Instantiate quantization configuration
bnb_config = ____(
	# Set 8-bit loading
	____=True,
)
model = AutoModelForCausalLM.from_pretrained(
    "Maykeye/TinyLLama-v0",
  	# Set quantization parameters to load quantized model
    ____=bnb_config,
    low_cpu_mem_usage=True
)
コードを編集して実行