การประเมินค่า Perplexity

ลองสร้างข้อความและประเมินคะแนน Perplexity ด้วยตัวเอง

มี input_text ให้แล้ว ซึ่งเป็นจุดเริ่มต้นของประโยค: "Current trends show that by 2030 "

ให้ใช้ LLM สร้างส่วนที่เหลือของประโยค

โมเดล AutoModelForCausalLM และ tokenizer ของโมเดลถูกโหลดไว้ให้แล้วในตัวแปร model และ tokenizer

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Python เบื้องต้นสำหรับ LLMs

ดูคอร์ส

คำแนะนำการฝึกหัด

เข้ารหัส input_text แล้วส่งให้โมเดลสร้างข้อความที่เตรียมไว้
โหลดและคำนวณคะแนน mean_perplexity จากข้อความที่สร้างขึ้น

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])

แก้ไขและรันโค้ด