Використання правильної структури моделі
Відповіді на запитання можуть бути екстрактивними або генеративними. Для кожного типу потрібна інша структура трансформера, щоб коректно обробляти вхідні дані та формувати вихід.
Зазвичай використовують:
- Лише енкодер, наприклад
"distilbert-base-uncased-distilled-squad" - Лише декодер, наприклад
"gpt2"
Скористайтеся знаннями про типові моделі для конкретних задач і виберіть відповідну. pipeline уже завантажено, а також надано текст про Мону Лізу.
Ця вправа є частиною курсу
Вступ до LLM у Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
question = "Who painted the Mona Lisa?"
# Define the appropriate model
qa = pipeline(task="question-answering", model=____)
output = qa(question=question, context=text)
print(output['answer'])