1. Learn
    2. /
  2. Курси
    3. /
  3. Тонке налаштування з Llama 3
Connected

Вправа

Завантаження 8-бітних моделей

Ваша компанія вже деякий час використовує модель Llama для чатбота служби підтримки. Вам доручили з'ясувати, як зменшити використання пам'яті GPU моделлю без помітної втрати продуктивності. Це дозволить команді перейти на дешевший обчислювальний кластер і зекономити компанії значні кошти.

Ви вирішуєте перевірити, чи можна завантажити модель із 8-бітною квантизацією та зберегти прийнятну продуктивність.

Вам надано модель у змінній model_name. AutoModelForCausalLM та AutoTokenizer уже імпортовані для вас.

Інструкції

100 XP
  • Імпортуйте клас конфігурації, щоб увімкнути завантаження моделей із квантизацією.
  • Створіть екземпляр класу конфігурації квантизації.
  • Налаштуйте параметри квантизації для завантаження моделі у 8 біт.
  • Передайте конфігурацію квантизації до AutoModelForCausalLM, щоб завантажити квантизовану модель.