Assurer des réponses sécuritaires
Vous configurez un robot conversationnel interne pour une équipe médicale. Pour obtenir des réponses cohérentes, vous devez réduire la variabilité en définissant une limite de jetons et en restreignant la sélection de jetons.
On vous a fourni l'instance de la classe Llama dans la variable llm ainsi que le code pour appeler la complétion. On vous donne aussi un exemple d'invite pour faire des tests.
Cette activité fait partie du cours
Travailler avec Llama 3
Instructions de l’exercice
- Réglez les paramètres du modèle pour que le nombre maximal de jetons soit limité à dix jetons et que le modèle ne choisisse qu'entre les deux mots les plus probables à chaque étape de complétion.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])