Забезпечення безпечних відповідей
Ви налаштовуєте внутрішній чатбот для медичної команди. Щоб забезпечити послідовність відповідей, потрібно зменшити варіативність, встановивши ліміт токенів і обмеживши вибір токенів.
Вам надано екземпляр класу Llama у змінній llm і код для виклику завершення. Також є зразок підказки (prompt) для тестування.
Ця вправа є частиною курсу
Робота з Llama 3
Інструкції до вправи
- Встановіть параметри моделі так, щоб максимальна кількість токенів була обмежена десятьма токенами, а на кожному кроці завершення модель обирала лише між двома найімовірнішими словами.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])