Aan de slagGa gratis aan de slag

Prompts schrijven voor Vision Language Models (VLM's)

In de komende twee oefeningen gebruik je een multi-modale model om de sentimenten te analyseren van een nieuwsartikel en de bijbehorende kopafbeelding uit de BBC News-gegevensset op Hugging Face:

BBC News dataset card

Om te beginnen maak je een chattemplate voor het model die zowel de afbeelding als het nieuwsartikel bevat. De gegevensset (dataset) en de kopafbeelding (image) zijn geladen.

Deze oefening maakt deel uit van de cursus

Multi-modale modellen met Hugging Face

Cursus bekijken

Oefeninstructies

  • Laad de inhoud van het nieuwsartikel (content) uit het datapunt op index 6 in de dataset.
  • Maak de tekstquery af om content in te voegen in text_query met f-strings.
  • Voeg de image en text_query toe aan de chattemplate en geef voor text_query het contenttype op als "text".

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Load the news article content from datapoint 6
content = ____

# Complete the text query
text_query = f"Does the news article have a positive, negative, or neutral impact on championship winning chances: {____}. Provide reasoning."

# Add the text query dictionary to the chat template
chat_template = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": ____,
            },
            ____
        ],
    }
]
Code bewerken en uitvoeren