ПочатиПочніть безкоштовно

Генерація підпису за допомогою pipeline

У цій вправі ви знову використаєте набір даних flickr, який містить 30 000 зображень із підписами. Тепер ви згенеруєте підпис до наведеного зображення, використовуючи pipeline замість авто-класів.

Photo of a man standing on a ladder cleaning a window

Набір даних (dataset) завантажено з такою структурою:

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

Модуль pipeline (pipeline) завантажено.

Ця вправа є частиною курсу

Багатомодальні моделі з Hugging Face

Переглянути курс

Інструкції до вправи

  • Завантажте конвеєр image-to-text із попередньо натренованою моделлю Salesforce/blip-image-captioning-base.
  • Використайте конвеєр, щоб згенерувати підпис для зображення з індексом 3.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")

# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])

print(pred)
Редагувати та запускати код