Llama-Trainingsargumente einrichten
Du sollst mit dem Llama-Modell arbeiten, das in einem Kundenservice-Chatbot verwendet wird, und es mit speziell für Question-Answering erstellten Kundendienstdaten feinabstimmen. Um die bestmögliche Leistung aus diesen Modellen herauszuholen, wird dein Team für diese Aufgabe ein Llama-Modell mit dem Datensatz bitext feinabstimmen.
Du möchtest einen Probelauf der Trainingsschleife durchführen, um zu prüfen, ob das Trainingsskript funktioniert. Starte daher mit einer kleinen Lernrate und beschränke das Training in deinen Trainingsargumenten auf nur wenige Schritte.
Diese Übung ist Teil des Kurses
<Kurs>Feinabstimmung mit Llama 3</Kurs>Übungsanweisungen
- Importiere und instanziiere die Hilfsklasse zum Speichern deiner Trainingsargumente.
- Setze das Trainingsargument für die Lernrate auf den Wert
2e-3.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)