Pipeline voor bijschriftgeneratie
In deze oefening gebruik je opnieuw de flickr-gegevensset, met 30.000 afbeeldingen en bijbehorende bijschriften. Nu ga je een bijschrift genereren voor de volgende afbeelding met een pipeline in plaats van de auto-klassen.
De gegevensset (dataset) is geladen met de volgende structuur:
Dataset({
features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
num_rows: 10
})
De pipeline-module (pipeline) is geladen.
Deze oefening maakt deel uit van de cursus
Multi-modale modellen met Hugging Face
Oefeninstructies
- Laad de
image-to-text-pipeline met het voorgetrainde modelSalesforce/blip-image-captioning-base. - Gebruik de pipeline om een bijschrift te genereren voor de afbeelding op index
3.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")
# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])
print(pred)