1. सीखें
    2. /
  2. पाठ्यक्रम
    3. /
  3. Hugging Face로 배우는 멀티모달 모델
Connected

अभ्यास

비디오 생성 성능 평가하기

멀티모달 CLIP 모델을 사용하여 비디오 생성 파이프라인의 성능을 평가할 수 있어요. 이 모델은 각 비디오 프레임 이미지와 프롬프트 간의 유사도를 측정합니다. 이를 활용해 이전 연습 문제에서 생성한 비디오가 프롬프트와 얼마나 잘 맞는지 평가해 보세요.

diffusers.utils에서 load_video() 함수가, torchmetrics에서 clip_score 모듈이 이미 임포트되어 있어요.

निर्देश

100 XP
  • clip_score() 메트릭에서 clip_score_fn()이라는 이름의 CLIP 점수 함수를 설정하세요.
  • frame_tensors의 각 프레임 텐서와 prompt 사이의 CLIP 점수를 계산하세요.