1. Nauka
    2. /
  2. Kursy
    3. /
  3. Modele multimodalne z Hugging Face
Connected

ćwiczenie

Generowanie podpisów obrazów za pomocą potoku

W tym ćwiczeniu ponownie skorzystasz ze zbioru danych flickr, który zawiera 30 000 obrazów wraz z przypisanymi podpisami. Tym razem wygenerujesz podpis do poniższego obrazu, używając potoku zamiast klas auto.

Zdjęcie mężczyzny stojącego na drabinie i myjącego okno

Zbiór danych (dataset) został załadowany z następującą strukturą:

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

Moduł potoku (pipeline) jest już załadowany.

Instrukcje

100 XP
  • Załaduj potok image-to-text z wstępnie wytrenowanym modelem Salesforce/blip-image-captioning-base.
  • Użyj potoku, aby wygenerować podpis dla obrazu o indeksie 3.