Đánh giá tự động chất lượng chú thích ảnh
Bạn đã phân loại chính xác bức ảnh chiếc váy, nhưng mô tả ban đầu có tốt không?
Maa Fab wrap with a Trendy design dress with Vibrant color for an elegant touch of Fabric completely Soft and Comfortable wear with amazing design of Solid Boat ? Neck Flared Dress to make a perfect addition to your wardrobe collection.
Giờ bạn sẽ dùng mô hình CLIP để đưa ra đánh giá định lượng về độ chính xác của mô tả này bằng CLIP score. Chú thích (description), ảnh (image), lớp ToTensor, và hàm clip_score() từ torchmetrics đã được nạp sẵn.
Bài tập này là một phần của khóa học
Mô hình đa phương thức với Hugging Face
Hướng dẫn bài tập
- Chuyển ảnh thành một tensor PyTorch với giá trị cường độ trong khoảng 0-255.
- Dùng hàm
clip_score()để đánh giá chất lượng chú thích bằng cách so sánhimage_tensorvàdescriptionvới mô hìnhopenai/clip-vit-base-patch32.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Convert the image to a PyTorch tensor
image_tensor = ____()(image)*____
# Use the clip_score function to assess the quality of the caption
score = ____(____, ____, "____")
print(f"CLIP score: {score}")