安全な応答を確保する
あなたは医療チーム向けの社内チャットボットを設定しています。応答の一貫性を保つために、トークン数の上限を設定し、トークンの選択肢を制限して、ばらつきを抑える必要があります。
Llama クラスのインスタンスは llm 変数として提供されており、補完を呼び出すコードも用意されています。テスト用のプロンプトも与えられています。
この演習はコースの一部です
Llama 3 を使いこなす
演習の手順
- モデルのパラメータを設定し、最大トークン数を 10 トークンに制限し、各補完ステップで最も確からしい 2 語のみから選ぶようにしてください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])