Configurare gli argomenti di training
Dopo aver tokenizzato le tue interazioni di assistenza clienti, devi configurare gli argomenti di training prima di poter effettuare il fine-tuning di un modello pre-addestrato.
TrainingArguments è già stato caricato per te.
Questo esercizio fa parte del corso
Introduzione agli LLM in Python
Istruzioni dell'esercizio
- Crea un'istanza di
TrainingArguments(). - Imposta la strategia di valutazione su
"epoch". - Specifica tre epoche di training.
- Imposta le dimensioni del batch sia per il training sia per la valutazione su tre.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)