CommencerCommencer gratuitement

Génération de légendes pour les pipelines

Dans cet exercice, vous utiliserez à nouveau l'ensemble de données flickr, qui contient 30 000 images et leurs légendes. Vous allez maintenant générer une légende pour l'image suivante en utilisant un pipeline plutôt que les classes automatiques.

Photo d'un homme debout sur une échelle nettoyant une fenêtre

L'ensemble de données (dataset) a été chargé avec la structure suivante :

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

Le module pipeline (pipeline) a été chargé.

Cet exercice fait partie du cours

Modèles multimodaux avec Hugging Face

Afficher le cours

Instructions

  • Chargez le pipeline d'image-to-text s avec le modèle pré-entraîné Salesforce/blip-image-captioning-base.
  • Utilisez le pipeline pour générer une légende pour l'image à l'index 3.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")

# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])

print(pred)
Modifier et exécuter le code