Aan de slagBegin gratis

Prompts schrijven voor Vision Language Models (VLM's)

In de komende twee oefeningen gebruik je een multi-modale model om de sentimenten te analyseren van een nieuwsartikel en de bijbehorende kopafbeelding uit de BBC News-gegevensset op Hugging Face:

BBC News dataset card

Om te beginnen maak je een chattemplate voor het model die zowel de afbeelding als het nieuwsartikel bevat. De gegevensset (dataset) en de kopafbeelding (image) zijn geladen.

Deze oefening maakt deel uit van de cursus

Multi-modale modellen met Hugging Face

Bekijk cursus

Oefeninstructies

  • Laad de inhoud van het nieuwsartikel (content) uit het datapunt op index 6 in de dataset.
  • Maak de tekstquery af om content in te voegen in text_query met f-strings.
  • Voeg de image en text_query toe aan de chattemplate en geef voor text_query het contenttype op als "text".

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Load the news article content from datapoint 6
content = ____

# Complete the text query
text_query = f"Does the news article have a positive, negative, or neutral impact on championship winning chances: {____}. Provide reasoning."

# Add the text query dictionary to the chat template
chat_template = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": ____,
            },
            ____
        ],
    }
]
Code bewerken en uitvoeren