Mengevaluasi perplexity
Cobalah menghasilkan teks dan mengevaluasi skor perplexity.
Anda disediakan input_text yang merupakan awal sebuah kalimat: "Current trends show that by 2030 ".
Gunakan sebuah LLM untuk menghasilkan kelanjutan kalimat tersebut.
Model AutoModelForCausalLM dan tokenizer-nya telah dimuat untuk Anda sebagai variabel model dan tokenizer.
Latihan ini merupakan bagian dari kursus
Pengantar LLM di Python
Instruksi latihan
- Enkode
input_textdan berikan ke model generasi teks yang tersedia. - Muat dan hitung skor
mean_perplexitypada teks yang dihasilkan.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])