Otomatik altyazı kalite değerlendirmesi
Elbisenin görselini doğru şekilde sınıflandırdın, peki orijinal açıklama ne kadar iyiydi?
Maa Fab wrap with a Trendy design dress with Vibrant color for an elegant touch of Fabric completely Soft and Comfortable wear with amazing design of Solid Boat ? Neck Flared Dress to make a perfect addition to your wardrobe collection.
Şimdi bu açıklamanın doğruluğu hakkında nicel bir değerlendirme yapmak için CLIP skorunu kullanarak CLIP modelini kullanacaksın. Altyazı (description), görsel (image), ToTensor sınıfı ve torchmetrics içindeki clip_score() fonksiyonu yüklendi.
Bu egzersiz, kursun bir parçasıdır
Hugging Face ile Multi-Modal Modeller
Egzersiz talimatları
- Görseli, yoğunlukları 0-255 aralığında olan bir PyTorch tensörüne dönüştür.
clip_score()fonksiyonunu kullanarakimage_tensoriledescriptionıopenai/clip-vit-base-patch32modeliyle karşılaştır ve altyazının kalitesini değerlendir.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Convert the image to a PyTorch tensor
image_tensor = ____()(image)*____
# Use the clip_score function to assess the quality of the caption
score = ____(____, ____, "____")
print(f"CLIP score: {score}")