Začněte nyníZačněte zdarma

Automatické hodnocení kvality popisku

Obrázek šatů jsi úspěšně klasifikoval/a, ale jak přesný byl původní popisek?

Maa Fab wrap with a Trendy design dress with Vibrant color for an elegant touch of Fabric completely Soft and Comfortable wear with amazing design of Solid Boat ? Neck Flared Dress to make a perfect addition to your wardrobe collection.

Teď pomocí modelu CLIP kvantitativně zhodnotíš, jak dobře tento popisek odpovídá obrázku – využiješ k tomu CLIP score. K dispozici máš popisek (description), obrázek (image), třídu ToTensor a funkci clip_score() z knihovny torchmetrics.

Toto cvičení je součástí kurzu

Multi-Modal Models with Hugging Face

Zobrazit kurz

Pokyny k cvičení

  • Převeď obrázek na PyTorch tensor s hodnotami intenzity v rozsahu 0–255.
  • Pomocí funkce clip_score() vyhodnoť kvalitu popisku porovnáním image_tensor a description s modelem openai/clip-vit-base-patch32.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Convert the image to a PyTorch tensor
image_tensor = ____()(image)*____

# Use the clip_score function to assess the quality of the caption
score = ____(____, ____, "____")

print(f"CLIP score: {score}")
Upravit a spustit kód