ПочатиПочніть безкоштовно

Підказування для Vision Language Models (VLMs)

У двох наступних вправах ви використаєте мультимодальну модель, щоб проаналізувати сентимент новинної статті та відповідного зображення заголовка з набору даних BBC News на Hugging Face:

BBC News dataset card

Спочатку підготуйте шаблон чату для моделі, який міститиме і зображення, і статтю. Набір даних (dataset) і зображення до заголовка (image) уже завантажено.

Ця вправа є частиною курсу

Багатомодальні моделі з Hugging Face

Переглянути курс

Інструкції до вправи

  • Завантажте вміст новинної статті (content) із датапойнта з індексом 6 у dataset.
  • Допишіть текстовий запит, щоб вставити content у text_query, використовуючи f-рядки.
  • Додайте image і text_query до шаблону чату, вказавши тип вмісту для text_query як "text".

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Load the news article content from datapoint 6
content = ____

# Complete the text query
text_query = f"Does the news article have a positive, negative, or neutral impact on championship winning chances: {____}. Provide reasoning."

# Add the text query dictionary to the chat template
chat_template = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": ____,
            },
            ____
        ],
    }
]
Редагувати та запускати код