BaşlayınÜcretsiz başlayın

Video üretim performansını değerlendirme

Video üretim ardışık düzenlerinin performansını, her bir video kare görüntüsü ile prompt arasındaki benzerliği test eden çok modlu bir CLIP modeliyle değerlendirebilirsin. Bunu, önceki egzersizde ürettiğin videonun prompt ile ne kadar iyi eşleştiğini ölçmek için kullanacaksın.

load_video() fonksiyonu senin için diffusers.utils içinden içe aktarıldı. clip_score modülü de torchmetrics içinden içe aktarıldı.

Bu egzersiz, kursun bir parçasıdır

Hugging Face ile Multi-Modal Modeller

Kursa Göz Atın

Egzersiz talimatları

  • clip_score() metriğinden clip_score_fn() adlı bir CLIP puanlama fonksiyonu kur.
  • frame_tensors içindeki her kare tensörü ile prompt arasındaki CLIP skorunu hesapla.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Setup CLIP scoring
clip_score_fn = partial(____, model_name_or_path="openai/clip-vit-base-patch32")

frame_tensors = []
for frame in frames:
    frame = np.array(frame)
    frame_int = (frame * 255).astype("uint8")
    frame_tensor = torch.from_numpy(frame_int).permute(2, 0, 1)
    frame_tensors.append(frame_tensor)

# Pass a list of CHW tensors as expected by clip_score
scores = clip_score_fn(____, [____] * len(frame_tensors)).detach().cpu().numpy()

avg_clip_score = round(np.mean(scores), 4)
print(f"Average CLIP score: {avg_clip_score}")
Kodu Düzenle ve Çalıştır