Configurarea argumentelor de antrenare pentru Llama
Ai sarcina de a lucra cu modelul Llama utilizat într-un chatbot de serviciu clienți, prin ajustarea fină a acestuia pe date de serviciu clienți concepute special pentru răspuns la întrebări. Pentru a obține cele mai bune rezultate, echipa ta va efectua fine-tuning pe un model Llama folosind setul de date bitext.
Vrei să faci o rulare de test a buclei de antrenare pentru a verifica dacă scriptul funcționează corect. Prin urmare, vei începe prin a seta o rată de învățare mică și a limita antrenarea la câțiva pași în argumentele de antrenare.
Acest exercițiu face parte din cursul
Fine-Tuning cu Llama 3
Instrucțiuni pentru exercițiu
- Importă și instanțiază clasa auxiliară pentru a stoca argumentele de antrenare.
- Setează argumentul de antrenare pentru rata de învățare la valoarea
2e-3.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)