Автоматизоване оцінювання якості підписів
Ви коректно класифікували зображення сукні, але наскільки вдалим був початковий опис?
Maa Fab wrap with a Trendy design dress with Vibrant color for an elegant touch of Fabric completely Soft and Comfortable wear with amazing design of Solid Boat ? Neck Flared Dress to make a perfect addition to your wardrobe collection.
Тепер ви використаєте модель CLIP, щоб кількісно оцінити точність цього опису за допомогою показника CLIP score. Підпис (description), зображення (image), клас ToTensor і функція clip_score() з torchmetrics уже завантажені.
Ця вправа є частиною курсу
Багатомодальні моделі з Hugging Face
Інструкції до вправи
- Перетворіть зображення на тензор PyTorch з інтенсивностями у діапазоні 0–255.
- Використайте функцію
clip_score()для оцінювання якості підпису, порівнявшиimage_tensorіdescriptionз моделлюopenai/clip-vit-base-patch32.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Convert the image to a PyTorch tensor
image_tensor = ____()(image)*____
# Use the clip_score function to assess the quality of the caption
score = ____(____, ____, "____")
print(f"CLIP score: {score}")