Настройка аргументов обучения
После токенизации диалогов службы поддержки необходимо настроить аргументы обучения, прежде чем приступить к дообучению предобученной модели.
TrainingArguments уже загружен для вас.
Это упражнение является частью курса
Введение в LLM на Python
Инструкции к упражнению
- Создайте экземпляр
TrainingArguments(). - Задайте стратегию оценки
"epoch". - Укажите три эпохи обучения.
- Установите размер батча для обучения и оценки равным трём.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)