Оцінювання якості генерації відео
Ви можете оцінювати ефективність конвеєрів генерації відео за допомогою мультимоделі CLIP, яка перевіряє схожість між кожним кадром відео та підказкою. Ви використаєте це, щоб з'ясувати, наскільки добре ваше згенероване відео з попередньої вправи відповідає підказці.
Функцію load_video() імпортовано для вас із diffusers.utils. Модуль clip_score також імпортовано з torchmetrics.
Ця вправа є частиною курсу
Багатомодальні моделі з Hugging Face
Інструкції до вправи
- Налаштуйте функцію оцінювання CLIP під назвою
clip_score_fn()на основі метрикиclip_score(). - Обчисліть оцінку CLIP між кожним тензором кадру в
frame_tensorsіprompt.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Setup CLIP scoring
clip_score_fn = partial(____, model_name_or_path="openai/clip-vit-base-patch32")
frame_tensors = []
for frame in frames:
frame = np.array(frame)
frame_int = (frame * 255).astype("uint8")
frame_tensor = torch.from_numpy(frame_int).permute(2, 0, 1)
frame_tensors.append(frame_tensor)
# Pass a list of CHW tensors as expected by clip_score
scores = clip_score_fn(____, [____] * len(frame_tensors)).detach().cpu().numpy()
avg_clip_score = round(np.mean(scores), 4)
print(f"Average CLIP score: {avg_clip_score}")