MulaiMulai sekarang secara gratis

Mengevaluasi perplexity

Cobalah menghasilkan teks dan mengevaluasi skor perplexity.

Anda disediakan input_text yang merupakan awal sebuah kalimat: "Current trends show that by 2030 ".

Gunakan sebuah LLM untuk menghasilkan kelanjutan kalimat tersebut.

Model AutoModelForCausalLM dan tokenizer-nya telah dimuat untuk Anda sebagai variabel model dan tokenizer.

Latihan ini adalah bagian dari kursus

Pengantar LLM di Python

Lihat Kursus

Petunjuk latihan

  • Enkode input_text dan berikan ke model generasi teks yang tersedia.
  • Muat dan hitung skor mean_perplexity pada teks yang dihasilkan.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])
Edit dan Jalankan Kode