Garantire risposte sicure
Stai configurando un chatbot interno per un team medico. Per assicurare risposte coerenti, devi limitare la variabilità impostando un limite di token e restringendo la selezione dei token.
Hai a disposizione l'istanza della classe Llama nella variabile llm e il codice per chiamare la completion. Ti viene anche fornito un prompt di esempio per fare dei test.
Questo esercizio fa parte del corso
Lavorare con Llama 3
Istruzioni dell'esercizio
- Imposta i parametri del modello in modo che il numero massimo di token sia limitato a dieci token e che il modello scelga solo tra le due parole più probabili a ogni passaggio di completion.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])