1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Mô hình đa phương thức với Hugging Face
Connected

Bài tập

Đánh giá hiệu năng sinh video

Bạn có thể đánh giá hiệu năng của pipeline sinh video bằng mô hình CLIP đa phương thức, mô hình này kiểm tra độ tương đồng giữa từng khung hình của video và prompt. Bạn sẽ dùng cách này để xem video bạn đã tạo ở bài trước khớp với prompt đến mức nào.

Hàm load_video() đã được nhập sẵn từ diffusers.utils. Mô-đun clip_score cũng đã được nhập từ torchmetrics.

Hướng dẫn

100 XP
  • Thiết lập một hàm tính điểm CLIP tên clip_score_fn() từ metric clip_score().
  • Tính điểm CLIP giữa mỗi tensor khung hình trong frame_tensors và prompt.