LoslegenKostenlos starten

Erstellung von Pipeline-Bildunterschriften

In dieser Übung wirst du wieder den Flickr -Datensatz verwenden, der 30.000 Bilder und dazugehörige Bildunterschriften enthält. Jetzt machst du eine Bildunterschrift für das folgende Bild, indem du eine Pipeline anstelle der automatischen Klassen verwendest.

Foto von einem Mann, der auf einer Leiter steht und ein Fenster putzt

Der Datensatz (dataset) wurde mit folgender Struktur geladen:

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

Das Pipeline-Modul (pipeline) wurde geladen.

Diese Übung ist Teil des Kurses

<Kurs>Multimodale Modelle mit Hugging Face</Kurs>
Kurs ansehen

Übungsanweisungen

  • Lade die Pipeline „ image-to-text “ mit dem vortrainierten Modell „ Salesforce/blip-image-captioning-base “.
  • Verwende die Pipeline, um eine Bildunterschrift für das Bild mit dem Index „ 3 “ zu erstellen.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")

# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])

print(pred)
Code bearbeiten und ausführen