Perplexity का मूल्यांकन
टेक्स्ट जेनरेट करने और perplexity स्कोर का मूल्यांकन करने की कोशिश कीजिए.
आपको कुछ input_text दिया गया है जो एक वाक्य की शुरुआत है: "Current trends show that by 2030 ".
बाकी वाक्य को जेनरेट करने के लिए किसी LLM का उपयोग करें.
एक AutoModelForCausalLM मॉडल और उसका tokenizer पहले से model और tokenizer वैरिएबल के रूप में लोड किया गया है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में LLMs का परिचय
अभ्यास निर्देश
input_textको encode कीजिए और उसे दिए गए text generation मॉडल में पास कीजिए.- जेनरेट किए गए टेक्स्ट पर
mean_perplexityस्कोर को लोड करके compute कीजिए.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])