Inizia subitoInizia gratis

Garantire risposte sicure

Stai configurando un chatbot interno per un team medico. Per assicurare risposte coerenti, devi limitare la variabilità impostando un limite di token e restringendo la selezione dei token.

Hai a disposizione l'istanza della classe Llama nella variabile llm e il codice per chiamare la completion. Ti viene anche fornito un prompt di esempio per fare dei test.

Questo esercizio fa parte del corso

Lavorare con Llama 3

Visualizza corso

Istruzioni dell'esercizio

  • Imposta i parametri del modello in modo che il numero massimo di token sia limitato a dieci token e che il modello scelga solo tra le due parole più probabili a ogni passaggio di completion.

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

output = llm(
		"What are the symptoms of strep throat?", 
  		# Set the model parameters 
      	max_tokens=____, #Limit response length
		top_k=____ #Restrict word choices
) 

print(output['choices'][0]['text'])
Modifica ed esegui il codice