ПочатиПочніть безкоштовно

Налаштування аргументів навчання Llama

Вам потрібно попрацювати з моделлю Llama, яку використовують у чат-боті служби підтримки, і донавчити її на даних служби підтримки, спеціально підготовлених для завдань запитання‑відповідь. Щоб отримати найкращі результати, ваша команда донавчить модель Llama для цього завдання, використавши набір даних bitext.

Ви хочете зробити тестовий прогін циклу навчання, щоб перевірити, чи працює скрипт навчання. Тож почніть із малого значення швидкості навчання та обмежте навчання кількома кроками в аргументах навчання.

Ця вправа є частиною курсу

Тонке налаштування з Llama 3

Переглянути курс

Інструкції до вправи

  • Імпортуйте та створіть екземпляр допоміжного класу для зберігання аргументів навчання.
  • Встановіть аргумент швидкості навчання у значення 2e-3.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Load helper class for the training arguments from the correct library
from ____ import ____ 
training_arguments = ____(
  	# Set learning rate
    ____=____, 
    warmup_ratio=0.03,
  	num_train_epochs=3,
  	output_dir='/tmp',
    per_device_train_batch_size=1,
    gradient_accumulation_steps=1,
    save_steps=10,
    logging_steps=2,
    lr_scheduler_type='constant',
    report_to='none'
)
Редагувати та запускати код