Безопасные ответы модели
Вы настраиваете внутренний чат-бот для медицинской команды. Чтобы обеспечить стабильность ответов, необходимо ограничить вариативность: задать лимит токенов и сузить выбор при генерации.
Вам предоставлен экземпляр класса Llama в переменной llm и код для вызова завершения. Также доступен пример промпта для тестирования.
Это упражнение является частью курса
Работа с Llama 3
Инструкции к упражнению
- Задайте параметры модели так, чтобы максимальное количество токенов было ограничено десятью, а модель выбирала только из двух наиболее вероятных слов на каждом шаге генерации.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])