Garantindo respostas seguras
Você está configurando um chatbot interno para uma equipe médica. Para garantir respostas consistentes, você precisa limitar a variabilidade definindo um limite de tokens e restringindo a seleção de tokens.
Foi fornecida para você a instância da classe Llama na variável llm e o código para chamar a conclusão. Você também recebeu um prompt de exemplo para testar.
Este exercício faz parte do curso
Trabalhando com Llama 3
Instruções do exercício
- Defina os parâmetros do modelo para que o número máximo de tokens seja limitado a dez tokens e o modelo sempre escolha apenas entre as duas palavras mais prováveis em cada passo da conclusão.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])