НачатьНачать бесплатно

Настройка аргументов обучения Llama

Ваша задача — доработать модель Llama, используемую в чат-боте службы поддержки, путём её дообучения на специально подготовленных данных для ответов на вопросы клиентов. Чтобы добиться наилучших результатов, команда будет дообучать модель Llama на наборе данных bitext.

Для начала вы хотите выполнить пробный запуск цикла обучения и убедиться, что скрипт работает корректно. Поэтому задайте небольшую скорость обучения и ограничьте количество шагов обучения в аргументах обучения.

Это упражнение является частью курса

Файн-тюнинг с Llama 3

Посмотреть курс

Инструкции к упражнению

  • Импортируйте и создайте экземпляр вспомогательного класса для хранения аргументов обучения.
  • Установите значение скорости обучения равным 2e-3.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Load helper class for the training arguments from the correct library
from ____ import ____ 
training_arguments = ____(
  	# Set learning rate
    ____=____, 
    warmup_ratio=0.03,
  	num_train_epochs=3,
  	output_dir='/tmp',
    per_device_train_batch_size=1,
    gradient_accumulation_steps=1,
    save_steps=10,
    logging_steps=2,
    lr_scheduler_type='constant',
    report_to='none'
)
Редактировать и запускать код