Säkerställ konsekventa svar
Du konfigurerar en intern chatbot för ett medicinskt team. För att få konsekventa svar behöver du begränsa variationen genom att sätta en tokengräns och begränsa tokenurvalet.
Du har fått Llama-klassinstansen i variabeln llm samt koden för att anropa completion-funktionen. Du har också fått en exempelfråga att testa med.
Den här övningen är en del av kursen
Arbeta med Llama 3
Övningsinstruktioner
- Ställ in modellparametrarna så att det maximala antalet tokens begränsas till tio tokens, och att modellen alltid väljer bland de två mest sannolika orden vid varje completion-steg.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])