НачатьНачать бесплатно

Управление ответами службы поддержки

Вы работаете в компании электронной коммерции и интегрируете Llama в ассистента службы поддержки. Ассистент отвечает на часто задаваемые вопросы, однако вы заметили, что ответы слишком однообразны.

Вам нужно изменить параметры декодирования, чтобы формулировки были более разнообразными, но ответы оставались информативными.

Модель уже создана с помощью llama_cpp и сохранена в переменной llm.

Это упражнение является частью курса

Работа с Llama 3

Посмотреть курс

Инструкции к упражнению

  • Задайте параметр temperature так, чтобы ответы были менее однообразными и более динамичными.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

output = llm(
		"Can I exchange an item I purchased?", 
  		# Set the temperature parameter to provide more varied responses
		temperature=____,
        max_tokens=15
) 

print(output['choices'][0]['text'])
Редактировать и запускать код