1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Mô hình đa phương thức với Hugging Face
Connected

Bài tập

Đánh giá tự động chất lượng chú thích ảnh

Bạn đã phân loại chính xác bức ảnh chiếc váy, nhưng mô tả ban đầu có tốt không?

Maa Fab wrap with a Trendy design dress with Vibrant color for an elegant touch of Fabric completely Soft and Comfortable wear with amazing design of Solid Boat ? Neck Flared Dress to make a perfect addition to your wardrobe collection.

Giờ bạn sẽ dùng mô hình CLIP để đưa ra đánh giá định lượng về độ chính xác của mô tả này bằng CLIP score. Chú thích (description), ảnh (image), lớp ToTensor, và hàm clip_score() từ torchmetrics đã được nạp sẵn.

Hướng dẫn

100 XP
  • Chuyển ảnh thành một tensor PyTorch với giá trị cường độ trong khoảng 0-255.
  • Dùng hàm clip_score() để đánh giá chất lượng chú thích bằng cách so sánh image_tensor và description với mô hình openai/clip-vit-base-patch32.