1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Multi-Modal Models with Hugging Face
Connected

cvičení

Hodnocení výkonu generování videa

Výkon svých pipeline pro generování videa můžeš hodnotit pomocí multi-modálního CLIP modelu, který testuje podobnost mezi každým snímkem videa a promptem. Použiješ ho k tomu, abys zjistil/a, jak dobře vygenerované video z předchozího cvičení odpovídá zadanému promptu.

Funkce load_video() byla importována z diffusers.utils. Modul clip_score byl také importován z torchmetrics.

Pokyny

100 XP
  • Nastav funkci pro výpočet CLIP skóre nazvanou clip_score_fn() pomocí metriky clip_score().
  • Vypočítej CLIP skóre mezi každým tenzorem snímku v frame_tensors a prompt.