CommencezCommencez gratuitement

Génération de légendes avec un pipeline

Dans cet exercice, vous allez de nouveau utiliser le jeu de données flickr, qui contient 30 000 images et leurs légendes associées. Cette fois, vous générerez une légende pour l'image suivante à l'aide d'un pipeline plutôt que des classes automatiques.

Photo of a man standing on a ladder cleaning a window

Le jeu de données (dataset) a été chargé avec la structure suivante :

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

Le module de pipeline (pipeline) a été chargé.

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

Voir le cours

Instructions de l’exercice

  • Chargez le pipeline image-to-text avec le modèle préentraîné Salesforce/blip-image-captioning-base.
  • Utilisez le pipeline pour générer une légende pour l'image à l'indice 3.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")

# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])

print(pred)
Modifier et exécuter le code