Konfigurera träningsargument för Llama
Du ska arbeta med en Llama-modell som används i en kundtjänstchattbot genom att finjustera den på kundtjänstdata som är särskilt framtagen för frågor och svar. För att få ut så mycket som möjligt av modellen ska ditt team finjustera en Llama-modell för den här uppgiften med hjälp av bitext-datamängden.
Du vill göra en testkörning av träningsloopen för att kontrollera att träningsskriptet fungerar. Börja därför med att ange en låg inlärningshastighet och begränsa träningen till ett fåtal steg i dina träningsargument.
Den här övningen är en del av kursen
Finjustering med Llama 3
Övningsinstruktioner
- Importera och instantiera hjälpklassen som används för att lagra dina träningsargument.
- Ange träningsargumentet för inlärningshastighet till värdet
2e-3.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)