确保回复安全
您正在为一支医疗团队配置内部聊天机器人。为确保回复一致，您需要通过设置 token 上限并限制 token 选择来降低随机性。
已在变量 llm 中提供了 Llama 类的实例，以及用于调用补全的代码。同时也提供了一条示例提示词供您测试。
本练习是课程的一部分
使用 Llama 3
练习说明
- 设置模型参数：将最大 token 数限制为 10，并使模型在每次补全过程中只在最可能的 2 个词之间进行选择。
交互式实操练习
通过完成这段示例代码来试试这个练习。
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])