Форматирование запросов для Llama
Моделям иногда бывает сложно разграничить задачу, ожидаемый результат и дополнительный контекст, если всё это смешано в одном длинном неструктурированном запросе. Чтобы исправить это, можно добавить чёткие метки, которые помогут модели разобраться в структуре информации.
Модель Llama доступна в виде переменной llm и будет использоваться на протяжении всего курса.
Это упражнение является частью курса
Работа с Llama 3
Инструкции к упражнению
- Добавьте метки
Instruction,QuestionиAnswerв запрос, чтобы сделать его более структурированным. - Передайте запрос в модель.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Add formatting to the prompt
prompt="""
____: Explain the concept of gravity in simple terms.
____: What is gravity?
____:
"""
# Send the prompt to the model
output = llm(____, max_tokens=15, stop=["Question:"])
print(output['choices'][0]['text'])