Налаштування параметрів навчання
Після токенізації взаємодій служби підтримки клієнтів вам потрібно налаштувати параметри навчання, перш ніж ви зможете донавчити попередньо натреновану модель.
TrainingArguments уже імпортовано для вас.
Ця вправа є частиною курсу
Вступ до LLM у Python
Інструкції до вправи
- Створіть екземпляр
TrainingArguments(). - Встановіть стратегію оцінювання як
"epoch". - Задайте три епохи навчання.
- Встановіть розміри пакетів для навчання та оцінювання рівними трьом.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)