ПочатиПочніть безкоштовно

Оцінювання якості генерації відео

Ви можете оцінювати ефективність конвеєрів генерації відео за допомогою мультимоделі CLIP, яка перевіряє схожість між кожним кадром відео та підказкою. Ви використаєте це, щоб з'ясувати, наскільки добре ваше згенероване відео з попередньої вправи відповідає підказці.

Функцію load_video() імпортовано для вас із diffusers.utils. Модуль clip_score також імпортовано з torchmetrics.

Ця вправа є частиною курсу

Багатомодальні моделі з Hugging Face

Переглянути курс

Інструкції до вправи

  • Налаштуйте функцію оцінювання CLIP під назвою clip_score_fn() на основі метрики clip_score().
  • Обчисліть оцінку CLIP між кожним тензором кадру в frame_tensors і prompt.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Setup CLIP scoring
clip_score_fn = partial(____, model_name_or_path="openai/clip-vit-base-patch32")

frame_tensors = []
for frame in frames:
    frame = np.array(frame)
    frame_int = (frame * 255).astype("uint8")
    frame_tensor = torch.from_numpy(frame_int).permute(2, 0, 1)
    frame_tensors.append(frame_tensor)

# Pass a list of CHW tensors as expected by clip_score
scores = clip_score_fn(____, [____] * len(frame_tensors)).detach().cpu().numpy()

avg_clip_score = round(np.mean(scores), 4)
print(f"Average CLIP score: {avg_clip_score}")
Редагувати та запускати код