Začněte nyníZačněte zdarma

Tvorba promptů pro Vision Language Models (VLMs)

V následujících dvou cvičeních použiješ multi-modální model k analýze sentimentu zpravodajského článku a odpovídajícího obrázku z titulku ze BBC News datasetu na Hugging Face:

BBC News dataset card

Nejprve připravíš šablonu chatu pro model, která bude obsahovat jak obrázek, tak samotný článek. Dataset (dataset) a obrázek z titulku (image) jsou už načtené.

Toto cvičení je součástí kurzu

Multi-Modal Models with Hugging Face

Zobrazit kurz

Pokyny k cvičení

  • Načti obsah článku (content) z datového bodu na indexu 6 v dataset.
  • Dokonči textový dotaz – vlož content do text_query pomocí f-stringů.
  • Přidej image a text_query do šablony chatu a jako typ obsahu pro text_query uveď "text".

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Load the news article content from datapoint 6
content = ____

# Complete the text query
text_query = f"Does the news article have a positive, negative, or neutral impact on championship winning chances: {____}. Provide reasoning."

# Add the text query dictionary to the chat template
chat_template = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": ____,
            },
            ____
        ],
    }
]
Upravit a spustit kód