Video üretim performansını değerlendirme
Video üretim ardışık düzenlerinin performansını, her bir video kare görüntüsü ile prompt arasındaki benzerliği test eden çok modlu bir CLIP modeliyle değerlendirebilirsin. Bunu, önceki egzersizde ürettiğin videonun prompt ile ne kadar iyi eşleştiğini ölçmek için kullanacaksın.
load_video() fonksiyonu senin için diffusers.utils içinden içe aktarıldı. clip_score modülü de torchmetrics içinden içe aktarıldı.
Bu egzersiz, kursun bir parçasıdır
Hugging Face ile Multi-Modal Modeller
Egzersiz talimatları
clip_score()metriğindenclip_score_fn()adlı bir CLIP puanlama fonksiyonu kur.frame_tensorsiçindeki her kare tensörü ilepromptarasındaki CLIP skorunu hesapla.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Setup CLIP scoring
clip_score_fn = partial(____, model_name_or_path="openai/clip-vit-base-patch32")
frame_tensors = []
for frame in frames:
frame = np.array(frame)
frame_int = (frame * 255).astype("uint8")
frame_tensor = torch.from_numpy(frame_int).permute(2, 0, 1)
frame_tensors.append(frame_tensor)
# Pass a list of CHW tensors as expected by clip_score
scores = clip_score_fn(____, [____] * len(frame_tensors)).detach().cpu().numpy()
avg_clip_score = round(np.mean(scores), 4)
print(f"Average CLIP score: {avg_clip_score}")