CommencerCommencer gratuitement

Garantir des réponses sûres

Vous configurez un chatbot interne pour une équipe médicale. Pour obtenir des réponses cohérentes, vous devez réduire la variabilité en fixant une limite de tokens et en restreignant la sélection de tokens.

L’instance de la classe Llama vous est fournie dans la variable llm, ainsi que le code pour appeler la complétion. Un exemple d’invite vous est également fourni pour faire un test.

Cet exercice fait partie du cours

Travailler avec Llama 3

Afficher le cours

Instructions

  • Réglez les paramètres du modèle afin que le nombre maximal de tokens soit limité à dix tokens, et que le modèle ne choisisse qu’entre les deux mots les plus probables à chaque étape de complétion.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

output = llm(
		"What are the symptoms of strep throat?", 
  		# Set the model parameters 
      	max_tokens=____, #Limit response length
		top_k=____ #Restrict word choices
) 

print(output['choices'][0]['text'])
Modifier et exécuter le code