Erstellung von Pipeline-Bildunterschriften
In dieser Übung wirst du wieder den Flickr -Datensatz verwenden, der 30.000 Bilder und dazugehörige Bildunterschriften enthält. Jetzt machst du eine Bildunterschrift für das folgende Bild, indem du eine Pipeline anstelle der automatischen Klassen verwendest.
Der Datensatz (dataset) wurde mit folgender Struktur geladen:
Dataset({
features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
num_rows: 10
})
Das Pipeline-Modul (pipeline) wurde geladen.
Diese Übung ist Teil des Kurses
Multimodale Modelle mit Hugging Face
Anleitung zur Übung
- Lade die Pipeline „
image-to-text“ mit dem vortrainierten Modell „Salesforce/blip-image-captioning-base“. - Verwende die Pipeline, um eine Bildunterschrift für das Bild mit dem Index „
3“ zu erstellen.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")
# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])
print(pred)