शुरू करेंमुफ़्त में शुरू करें

वीडियो जनरेशन के प्रदर्शन का आकलन

आप अपनी वीडियो जनरेशन पाइपलाइनों का आकलन एक मल्टी-मोडल CLIP मॉडल का उपयोग करके कर सकते हैं, जो प्रत्येक वीडियो फ्रेम इमेज और प्रॉम्प्ट के बीच समानता को परखता है। आप इसका उपयोग यह जाँचने के लिए करेंगे कि पिछले अभ्यास में जनरेट किया गया आपका वीडियो प्रॉम्प्ट से कितना मेल खाता है।

load_video() फंक्शन आपके लिए diffusers.utils से इम्पोर्ट किया गया है। clip_score मॉड्यूल भी torchmetrics से इम्पोर्ट किया गया है।

यह अभ्यास पाठ्यक्रम का हिस्सा है

Hugging Face के साथ मल्टी-मोडल मॉडल्स

पाठ्यक्रम देखें

अभ्यास निर्देश

  • clip_score() मेट्रिक से clip_score_fn() नाम का एक CLIP स्कोरिंग फंक्शन सेट अप करें।
  • frame_tensors में प्रत्येक फ्रेम टेन्सर और prompt के बीच CLIP स्कोर की गणना करें।

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Setup CLIP scoring
clip_score_fn = partial(____, model_name_or_path="openai/clip-vit-base-patch32")

frame_tensors = []
for frame in frames:
    frame = np.array(frame)
    frame_int = (frame * 255).astype("uint8")
    frame_tensor = torch.from_numpy(frame_int).permute(2, 0, 1)
    frame_tensors.append(frame_tensor)

# Pass a list of CHW tensors as expected by clip_score
scores = clip_score_fn(____, [____] * len(frame_tensors)).detach().cpu().numpy()

avg_clip_score = round(np.mean(scores), 4)
print(f"Average CLIP score: {avg_clip_score}")
कोड संपादित करें और चलाएँ