BaşlayınÜcretsiz başlayın

Görsel Dil Modellerini (VLM) Yönlendirme

Sonraki iki egzersizde, Hugging Face üzerindeki BBC News veri kümesi içinden bir haber makalesi ve ona karşılık gelen manşet görselinin duygusunu (sentiment) analiz etmek için çok modlu bir model kullanacaksın:

BBC News dataset card

Başlamak için, hem görseli hem de haber makalesini içeren bir sohbet şablonu hazırlayacaksın. Veri kümesi (dataset) ve manşet görseli (image) yüklendi.

Bu egzersiz, kursun bir parçasıdır

Hugging Face ile Multi-Modal Modeller

Kursa Göz Atın

Egzersiz talimatları

  • dataset içinde indeks 6 olan veri noktasından haber makalesi içeriğini (content) yükle.
  • f-string kullanarak content'i text_query'ye yerleştirecek şekilde metin sorgusunu tamamla.
  • image ve text_query'yi sohbet şablonuna ekle; text_query için içerik türünü "text" olarak belirt.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Load the news article content from datapoint 6
content = ____

# Complete the text query
text_query = f"Does the news article have a positive, negative, or neutral impact on championship winning chances: {____}. Provide reasoning."

# Add the text query dictionary to the chat template
chat_template = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": ____,
            },
            ____
        ],
    }
]
Kodu Düzenle ve Çalıştır