Скерування відповідей у службі підтримки клієнтів
Ви працюєте в e-commerce компанії та інтегруєте Llama в асистента служби підтримки. Асистент відповідає на поширені запитання, але ви помітили, що відповіді надто повторювані.
Потрібно змінити параметри декодування, щоб заохотити більш різноманітне формулювання, водночас зберігаючи інформативність відповідей.
Модель уже створено за допомогою llama_cpp і збережено в змінній llm.
Ця вправа є частиною курсу
Робота з Llama 3
Інструкції до вправи
- Встановіть параметр
temperature, щоб відповіді були менш повторюваними та динамічнішими.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
output = llm(
"Can I exchange an item I purchased?",
# Set the temperature parameter to provide more varied responses
temperature=____,
max_tokens=15
)
print(output['choices'][0]['text'])