1. Nauka
  2. /
  3. Kursy
  4. /
  5. Modele multimodalne z Hugging Face

Connected

ćwiczenie

Automatyczna ocena jakości podpisu

Udało ci się poprawnie sklasyfikować obraz sukienki – ale jak dobry był oryginalny opis?

Maa Fab wrap with a Trendy design dress with Vibrant color for an elegant touch of Fabric completely Soft and Comfortable wear with amazing design of Solid Boat ? Neck Flared Dress to make a perfect addition to your wardrobe collection.

Teraz użyjesz modelu CLIP, aby ilościowo ocenić trafność tego opisu za pomocą wskaźnika CLIP score. Załadowane zostały: podpis (description), obraz (image), klasa ToTensor oraz funkcja clip_score() z biblioteki torchmetrics.

Instrukcje

100 XP
  • Przekształć obraz na tensor PyTorch z wartościami intensywności w zakresie 0–255.
  • Użyj funkcji clip_score(), aby ocenić jakość podpisu, porównując image_tensor i description z modelem openai/clip-vit-base-patch32.