CommencerCommencer gratuitement

Génération de légendes avec un pipeline

Dans cet exercice, vous allez à nouveau utiliser le jeu de données flickr, qui contient 30 000 images avec leurs légendes. Cette fois, vous allez générer une légende pour l’image ci-dessous en utilisant un pipeline au lieu des classes automatiques.

Photo of a man standing on a ladder cleaning a window

Le jeu de données (dataset) a été chargé avec la structure suivante :

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

Le module de pipeline (pipeline) a été chargé.

Cet exercice fait partie du cours

Modèles multimodaux avec Hugging Face

Afficher le cours

Instructions

  • Chargez le pipeline image-to-text avec le modèle pré-entraîné Salesforce/blip-image-captioning-base.
  • Utilisez le pipeline pour générer une légende pour l’image à l’index 3.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")

# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])

print(pred)
Modifier et exécuter le code