ÎncepețiÎncepe gratuit

Promptarea modelelor de limbaj vizual (VLM)

În următoarele două exerciții, vei folosi un model multi-modal pentru a analiza sentimentul unui articol de știri și al imaginii din titlu corespunzătoare, din setul de date BBC News de pe Hugging Face:

BBC News dataset card

Pentru început, vei pregăti un șablon de chat pentru model care include atât imaginea, cât și articolul de știri. Setul de date (dataset) și imaginea din titlu (image) au fost deja încărcate.

Acest exercițiu face parte din cursul

Modele Multi-Modale cu Hugging Face

Vezi cursul

Instrucțiuni pentru exercițiu

  • Încarcă conținutul articolului de știri (content) din punctul de date de la indexul 6 din dataset.
  • Completează interogarea text pentru a insera content în text_query folosind f-string-uri.
  • Adaugă image și text_query în șablonul de chat, specificând tipul de conținut al lui text_query ca "text".

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Load the news article content from datapoint 6
content = ____

# Complete the text query
text_query = f"Does the news article have a positive, negative, or neutral impact on championship winning chances: {____}. Provide reasoning."

# Add the text query dictionary to the chat template
chat_template = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": ____,
            },
            ____
        ],
    }
]
Editează și rulează codul