Garantir des réponses sûres
Vous configurez un chatbot interne pour une équipe médicale. Pour obtenir des réponses cohérentes, vous devez réduire la variabilité en fixant une limite de tokens et en restreignant la sélection de tokens.
L’instance de la classe Llama vous est fournie dans la variable llm, ainsi que le code pour appeler la complétion. Un exemple d’invite vous est également fourni pour faire un test.
Cet exercice fait partie du cours
Travailler avec Llama 3
Instructions
- Réglez les paramètres du modèle afin que le nombre maximal de tokens soit limité à dix tokens, et que le modèle ne choisisse qu’entre les deux mots les plus probables à chaque étape de complétion.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])