ПочатиПочніть безкоштовно

Завантаження 8-бітних моделей

Ваша компанія вже деякий час використовує модель Llama для чатбота служби підтримки. Вам доручили з'ясувати, як зменшити використання пам'яті GPU моделлю без помітної втрати продуктивності. Це дозволить команді перейти на дешевший обчислювальний кластер і зекономити компанії значні кошти.

Ви вирішуєте перевірити, чи можна завантажити модель із 8-бітною квантизацією та зберегти прийнятну продуктивність.

Вам надано модель у змінній model_name. AutoModelForCausalLM та AutoTokenizer уже імпортовані для вас.

Ця вправа є частиною курсу

Тонке налаштування з Llama 3

Переглянути курс

Інструкції до вправи

  • Імпортуйте клас конфігурації, щоб увімкнути завантаження моделей із квантизацією.
  • Створіть екземпляр класу конфігурації квантизації.
  • Налаштуйте параметри квантизації для завантаження моделі у 8 біт.
  • Передайте конфігурацію квантизації до AutoModelForCausalLM, щоб завантажити квантизовану модель.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Import quantization configuration class
from ____ import ____
# Instantiate quantization configuration
bnb_config = ____(
	# Set 8-bit loading
	____=True,
)
model = AutoModelForCausalLM.from_pretrained(
    "Maykeye/TinyLLama-v0",
  	# Set quantization parameters to load quantized model
    ____=bnb_config,
    low_cpu_mem_usage=True
)
Редагувати та запускати код