Ładowanie modeli 8-bitowych
Twoja firma od jakiegoś czasu używa modelu Llama w chatbocie obsługi klienta. Otrzymujesz zadanie: sprawdzić, jak zmniejszyć zużycie pamięci GPU przez model, nie tracąc przy tym znacząco na jakości działania. Dzięki temu zespół będzie mógł przejść na tańszy klaster obliczeniowy i zaoszczędzić firmie sporo pieniędzy.
Postanawiasz przetestować, czy uda się załadować model z 8-bitową kwantyzacją przy zachowaniu rozsądnej wydajności.
Nazwa modelu jest dostępna w zmiennej model_name. Klasy AutoModelForCausalLM oraz AutoTokenizer są już zaimportowane.
To ćwiczenie jest częścią kursu
Fine-Tuning z Llama 3
Instrukcje do ćwiczenia
- Zaimportuj klasę konfiguracji umożliwiającą ładowanie modeli z kwantyzacją.
- Utwórz instancję klasy konfiguracji kwantyzacji.
- Skonfiguruj parametry kwantyzacji, aby załadować model w trybie 8-bitowym.
- Przekaż konfigurację kwantyzacji do
AutoModelForCausalLM, aby załadować skwantyzowany model.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Import quantization configuration class
from ____ import ____
# Instantiate quantization configuration
bnb_config = ____(
# Set 8-bit loading
____=True,
)
model = AutoModelForCausalLM.from_pretrained(
"Maykeye/TinyLLama-v0",
# Set quantization parameters to load quantized model
____=bnb_config,
low_cpu_mem_usage=True
)