ÎncepețiÎncepe gratuit

Generarea de descrieri cu pipeline

În acest exercițiu, vei folosi din nou setul de date flickr, care conține 30.000 de imagini și descrierile asociate. De data aceasta, vei genera o descriere pentru imaginea de mai jos folosind un pipeline în loc de clasele auto.

Fotografie cu un bărbat care stă pe o scară și curăță un geam

Setul de date (dataset) a fost încărcat cu următoarea structură:

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

Modulul pipeline (pipeline) a fost încărcat.

Acest exercițiu face parte din cursul

Modele Multi-Modale cu Hugging Face

Vezi cursul

Instrucțiuni pentru exercițiu

  • Încarcă pipeline-ul image-to-text cu modelul preantrenat Salesforce/blip-image-captioning-base.
  • Folosește pipeline-ul pentru a genera o descriere pentru imaginea de la indexul 3.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")

# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])

print(pred)
Editează și rulează codul