Konfigurowanie argumentów trenowania modelu Llama
Twoim zadaniem jest dostrojenie modelu Llama używanego w chatbocie obsługi klienta. W tym celu skorzystasz z danych przeznaczonych do odpowiadania na pytania. Aby uzyskać jak najlepsze wyniki, twój zespół dostroić model Llama na zbiorze danych bitext.
Chcesz przeprowadzić próbne uruchomienie pętli treningowej, aby sprawdzić, czy skrypt działa poprawnie. Zacznij od ustawienia małego współczynnika uczenia i ogranicz trenowanie do kilku kroków w argumentach treningowych.
To ćwiczenie jest częścią kursu
Fine-Tuning z Llama 3
Instrukcje do ćwiczenia
- Zaimportuj i utwórz instancję klasy pomocniczej służącej do przechowywania argumentów treningowych.
- Ustaw argument treningowy dla współczynnika uczenia na wartość
2e-3.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)