ComeçarComece de graça

Garantindo respostas seguras

Você está configurando um chatbot interno para uma equipe médica. Para garantir respostas consistentes, você precisa limitar a variabilidade definindo um limite de tokens e restringindo a seleção de tokens.

Foi fornecida para você a instância da classe Llama na variável llm e o código para chamar a conclusão. Você também recebeu um prompt de exemplo para testar.

Este exercício faz parte do curso

Trabalhando com Llama 3

Ver curso

Instruções do exercício

  • Defina os parâmetros do modelo para que o número máximo de tokens seja limitado a dez tokens e o modelo sempre escolha apenas entre as duas palavras mais prováveis em cada passo da conclusão.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

output = llm(
		"What are the symptoms of strep throat?", 
  		# Set the model parameters 
      	max_tokens=____, #Limit response length
		top_k=____ #Restrict word choices
) 

print(output['choices'][0]['text'])
Editar e executar o código