Bắt đầu ngayBắt đầu miễn phí

Tạo mô tả ảnh bằng Pipeline

Trong bài tập này, bạn sẽ tiếp tục dùng dataset flickr với 30.000 ảnh và các chú thích (caption) đi kèm. Lần này, bạn sẽ tạo chú thích cho ảnh dưới đây bằng pipeline thay vì dùng các auto class.

Photo of a man standing on a ladder cleaning a window

Dataset (dataset) đã được nạp với cấu trúc sau:

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

Module pipeline (pipeline) đã được nạp.

Bài tập này là một phần của khóa học

Mô hình đa phương thức với Hugging Face

Xem khóa học

Hướng dẫn bài tập

  • Tải pipeline image-to-text với mô hình pretrained Salesforce/blip-image-captioning-base.
  • Dùng pipeline để tạo chú thích cho ảnh ở chỉ mục 3.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")

# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])

print(pred)
Chỉnh sửa và Chạy Mã