LoRA-Adapter verwenden
Du arbeitest bei einem Startup, das Kundenservice-Chatbots anbietet, die einfache Fragen von Kundinnen und Kunden automatisch beantworten.
Deine Aufgabe ist es, das Sprachmodell Maykeye/TinyLLama-v0 mit dem Datensatz bitext so feinzujustieren, dass es Kundenservice-Fragen beantworten kann. Dieses Modell wird in einem Chatbot eingesetzt, den dein Team bereitstellt. Das Trainingsskript ist bereits fast fertig. Du möchtest jedoch LoRA in dein Fine-Tuning integrieren, da es effizienter ist und es ermöglicht, dass die Trainings-Pipeline deines Teams bei Deployments schneller fertig wird.
Das relevante Modell, der Tokenizer, der Datensatz und die Trainingsargumente wurden bereits in model, tokenizer, dataset und training_arguments für dich geladen.
Diese Übung ist Teil des Kurses
Feinabstimmung mit Llama 3
Anleitung zur Übung
- Importiere die LoRA-Konfiguration aus der zugehörigen Bibliothek.
- Erzeuge die LoRA-Konfigurationsparameter mit den Standardwerten in
lora_config. - Integriere die LoRA-Parameter in den SFTTrainer.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)