IniziaInizia gratis

Generazione di didascalie con pipeline

In questo esercizio userai di nuovo il dataset flickr, che contiene 30.000 immagini con le relative didascalie. Ora genererai una didascalia per l'immagine seguente usando una pipeline invece delle auto classes.

Photo of a man standing on a ladder cleaning a window

Il dataset (dataset) è stato caricato con la seguente struttura:

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

Il modulo delle pipeline (pipeline) è stato caricato.

Questo esercizio fa parte del corso

Modelli multi-modali con Hugging Face

Visualizza il corso

Istruzioni dell'esercizio

  • Carica la pipeline image-to-text con il modello pretrained Salesforce/blip-image-captioning-base.
  • Usa la pipeline per generare una didascalia per l'immagine all'indice 3.

Esercizio pratico interattivo

Prova a risolvere questo esercizio completando il codice di esempio.

# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")

# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])

print(pred)
Modifica ed esegui il codice