ÎncepețiÎncepe gratuit

Evaluarea automată a calității legendelor

Ai clasificat corect imaginea rochiei, dar cât de bună a fost descrierea originală?

Maa Fab wrap with a Trendy design dress with Vibrant color for an elegant touch of Fabric completely Soft and Comfortable wear with amazing design of Solid Boat ? Neck Flared Dress to make a perfect addition to your wardrobe collection.

Vei folosi acum modelul CLIP pentru a evalua cantitativ acuratețea acestei descrieri, folosind scorul CLIP. Legenda (description), imaginea (image), clasa ToTensor și funcția clip_score() din torchmetrics au fost deja încărcate.

Acest exercițiu face parte din cursul

Modele Multi-Modale cu Hugging Face

Vezi cursul

Instrucțiuni pentru exercițiu

  • Convertește imaginea într-un tensor PyTorch cu intensități cuprinse între 0 și 255.
  • Folosește funcția clip_score() pentru a evalua calitatea legendei, comparând image_tensor și description cu modelul openai/clip-vit-base-patch32.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Convert the image to a PyTorch tensor
image_tensor = ____()(image)*____

# Use the clip_score function to assess the quality of the caption
score = ____(____, ____, "____")

print(f"CLIP score: {score}")
Editează și rulează codul