Nastavení tréninkových argumentů pro Llamu
Tvým úkolem je vylepšit model Llama používaný v chatbotu zákaznické podpory – fine-tuningem na datech speciálně připravených pro otázky a odpovědi. Aby modely podávaly co nejlepší výkon, celý tým provede fine-tuning modelu Llama na datasetu bitext.
Nejprve chceš otestovat, jestli trénovací skript funguje správně. Proto začneš s malým learning rate a omezíš trénování na několik kroků v rámci tréninkových argumentů.
Toto cvičení je součástí kurzu
Fine-Tuning s Llama 3
Pokyny k cvičení
- Importuj a vytvoř instanci pomocné třídy pro uložení tréninkových argumentů.
- Nastav tréninkový argument pro learning rate na hodnotu
2e-3.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)