1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Multi-Modal Models with Hugging Face
Connected

cvičení

Automatické hodnocení kvality popisku

Obrázek šatů jsi úspěšně klasifikoval/a, ale jak přesný byl původní popisek?

Maa Fab wrap with a Trendy design dress with Vibrant color for an elegant touch of Fabric completely Soft and Comfortable wear with amazing design of Solid Boat ? Neck Flared Dress to make a perfect addition to your wardrobe collection.

Teď pomocí modelu CLIP kvantitativně zhodnotíš, jak dobře tento popisek odpovídá obrázku – využiješ k tomu CLIP score. K dispozici máš popisek (description), obrázek (image), třídu ToTensor a funkci clip_score() z knihovny torchmetrics.

Pokyny

100 XP
  • Převeď obrázek na PyTorch tensor s hodnotami intenzity v rozsahu 0–255.
  • Pomocí funkce clip_score() vyhodnoť kvalitu popisku porovnáním image_tensor a description s modelem openai/clip-vit-base-patch32.