Llama-Trainingsargumente einrichten
Du sollst mit dem Llama-Modell arbeiten, das in einem Kundenservice-Chatbot verwendet wird, und es mit speziell für Question-Answering erstellten Kundendienstdaten feinabstimmen. Um die bestmögliche Leistung aus diesen Modellen herauszuholen, wird dein Team für diese Aufgabe ein Llama-Modell mit dem Datensatz bitext feinabstimmen.
Du möchtest einen Probelauf der Trainingsschleife durchführen, um zu prüfen, ob das Trainingsskript funktioniert. Starte daher mit einer kleinen Lernrate und beschränke das Training in deinen Trainingsargumenten auf nur wenige Schritte.
Diese Übung ist Teil des Kurses
Feinabstimmung mit Llama 3
Anleitung zur Übung
- Importiere und instanziiere die Hilfsklasse zum Speichern deiner Trainingsargumente.
- Setze das Trainingsargument für die Lernrate auf den Wert
2e-3.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)