НачатьНачать бесплатно

Дообучение Llama для работы с обращениями в службу поддержки

Вы работаете в компании, которая разрабатывает чат-боты для службы поддержки клиентов. Ваша команда использует модели Llama в таком боте, и вы хотите улучшить модель, дообучив её на наборе данных «вопрос — ответ», связанном с клиентским сервисом. Чтобы добиться максимальной производительности, команда проведёт дообучение модели Llama для этой задачи с использованием набора данных bitext.

Скрипт обучения почти готов — осталось реализовать финальный шаг: объединить модель, токенизатор, обучающий набор данных и аргументы обучения, а затем запустить процесс обучения.

Это упражнение является частью курса

Файн-тюнинг с Llama 3

Посмотреть курс

Инструкции к упражнению

  • Импортируйте из соответствующей библиотеки класс, предназначенный для обучения с учителем.
  • Создайте экземпляр этого класса, передав model, tokenizer, dataset и training_arguments.
  • Вызовите метод экземпляра, чтобы запустить дообучение модели.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import the supervised fine-tuning class
from ____ import ____

# Instantiate fine-tuning class
trainer = ____(
  	# Pass necessary arguments
    ____=____,
    ____=____,
    ____=____,
    ____=____,

)

# Start training 
trainer.____()
Редактировать и запускать код