Configurare gli argomenti di training di Llama
Devi lavorare con il modello Llama usato in un chatbot di assistenza clienti, effettuando il fine-tuning su dati di customer service progettati per il question answering. Per ottenere le migliori prestazioni da questi modelli, il tuo team effettuerà il fine-tuning di un modello Llama per questo compito usando il dataset bitext.
Vuoi fare un test rapido del training loop per verificare che lo script di training funzioni. Quindi, vuoi iniziare impostando un learning rate piccolo e limitando l’addestramento a poche step nei tuoi argomenti di training.
Questo esercizio fa parte del corso
Fine-tuning con Llama 3
Istruzioni dell'esercizio
- Importa e istanzia la classe helper per archiviare i tuoi argomenti di training.
- Imposta l’argomento di training per il learning rate al valore
2e-3.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)