Veilige antwoorden waarborgen
Je configureert een interne chatbot voor een medisch team. Om consistente antwoorden te krijgen, wil je de variatie beperken door een tokenlimiet te zetten en de tokenselectie te beperken.
Je hebt de Llama-klasse instantie in de variabele llm en de code om de completion aan te roepen. Je krijgt ook een voorbeeldprompt om mee te testen.
Deze oefening maakt deel uit van de cursus
Werken met Llama 3
Oefeninstructies
- Stel de modelparameters zo in dat het maximale aantal tokens is beperkt tot tien tokens, en dat het model bij elke completionstap alleen kan kiezen uit de twee meest waarschijnlijke woorden.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])