1. Learn
    2. /
  2. Курси
    3. /
  3. Тонке налаштування з Llama 3
Connected

Вправа

Прискорення інференсу в квантизованих моделях

Ваша компанія вже певний час використовує модель Llama для чат-бота підтримки клієнтів із квантизацією. Одна з найбільших скарг користувачів — бот відповідає дуже повільно і часом видає дивні відповіді.

Ви підозрюєте, що причина може бути у квантизації до 4 біт без нормалізації. Під час дослідження ви також припустили, що компроміс у швидкості виникає під час обчислень інференсу, де використовуються 32-бітні числа з рухомою комою.

Ви хочете відкоригувати параметри квантизації, щоб підвищити швидкість інференсу вашої моделі. Наступні імпорти вже завантажено: AutoModelForCausalLM, AutoTokenizer і BitsAndBytesConfig.

Інструкції

100 XP
  • Установіть тип квантизації як нормалізований 4-бітний, щоб зменшити викиди й уникнути беззмістовних відповідей.
  • Установіть тип обчислень на bfloat16, щоб пришвидшити обчислення під час інференсу.