Llama-trainingsargumenten instellen
Je gaat werken met het Llama-model dat in een klantenservice-chatbot wordt gebruikt, door het fine-tunen op klantenservicedata die specifiek is gemaakt voor vraag-en-antwoord. Om de beste prestaties uit deze modellen te halen, zal je team een Llama-model voor deze taak fine-tunen met de bitext-gegevensset.
Je wilt een testrun van de trainingslus doen om te controleren of het trainingsscript werkt. Daarom begin je met een kleine learning rate en beperk je de training tot een handvol stappen in je trainingsargumenten.
Deze oefening maakt deel uit van de cursus
Fijn-afstemmen met Llama 3
Oefeninstructies
- Importeer en instantieer de helperklasse om je trainingsargumenten op te slaan.
- Stel het trainingsargument voor de learning rate in op
2e-3.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)