Začněte nyníZačněte zdarma

Hodnocení výkonu generování videa

Výkon svých pipeline pro generování videa můžeš hodnotit pomocí multi-modálního CLIP modelu, který testuje podobnost mezi každým snímkem videa a promptem. Použiješ ho k tomu, abys zjistil/a, jak dobře vygenerované video z předchozího cvičení odpovídá zadanému promptu.

Funkce load_video() byla importována z diffusers.utils. Modul clip_score byl také importován z torchmetrics.

Toto cvičení je součástí kurzu

Multi-Modal Models with Hugging Face

Zobrazit kurz

Pokyny k cvičení

  • Nastav funkci pro výpočet CLIP skóre nazvanou clip_score_fn() pomocí metriky clip_score().
  • Vypočítej CLIP skóre mezi každým tenzorem snímku v frame_tensors a prompt.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Setup CLIP scoring
clip_score_fn = partial(____, model_name_or_path="openai/clip-vit-base-patch32")

frame_tensors = []
for frame in frames:
    frame = np.array(frame)
    frame_int = (frame * 255).astype("uint8")
    frame_tensor = torch.from_numpy(frame_int).permute(2, 0, 1)
    frame_tensors.append(frame_tensor)

# Pass a list of CHW tensors as expected by clip_score
scores = clip_score_fn(____, [____] * len(frame_tensors)).detach().cpu().numpy()

avg_clip_score = round(np.mean(scores), 4)
print(f"Average CLIP score: {avg_clip_score}")
Upravit a spustit kód