Configurarea argumentelor de antrenament
După tokenizarea interacțiunilor cu clienții, trebuie să configurezi argumentele de antrenament înainte de a putea face fine-tuning pe un model pre-antrenat.
TrainingArguments a fost deja importat pentru tine.
Acest exercițiu face parte din cursul
Introducere în LLM-uri cu Python
Instrucțiuni pentru exercițiu
- Creează o instanță a clasei
TrainingArguments(). - Setează strategia de evaluare la
"epoch". - Specifică trei epoci de antrenament.
- Setează dimensiunea batch-ului pentru antrenament și evaluare la trei.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)