IniziaInizia gratis

Garantire risposte sicure

Stai configurando un chatbot interno per un team medico. Per assicurare risposte coerenti, devi limitare la variabilità impostando un limite di token e restringendo la selezione dei token.

Hai a disposizione l'istanza della classe Llama nella variabile llm e il codice per chiamare la completion. Ti viene anche fornito un prompt di esempio per fare dei test.

Questo esercizio fa parte del corso

Lavorare con Llama 3

Visualizza il corso

Istruzioni dell'esercizio

  • Imposta i parametri del modello in modo che il numero massimo di token sia limitato a dieci token e che il modello scelga solo tra le due parole più probabili a ogni passaggio di completion.

Esercizio pratico interattivo

Prova a risolvere questo esercizio completando il codice di esempio.

output = llm(
		"What are the symptoms of strep throat?", 
  		# Set the model parameters 
      	max_tokens=____, #Limit response length
		top_k=____ #Restrict word choices
) 

print(output['choices'][0]['text'])
Modifica ed esegui il codice