Perplexity değerlendirme
Metin üretmeyi ve perplexity skorunu değerlendirmeyi dene.
Sana bir cümle başlangıcı olarak bazı input_text verildi: "Current trends show that by 2030 ".
Bir LLM kullanarak cümlenin geri kalanını üret.
Bir AutoModelForCausalLM modeli ve onun tokenizer'ı model ve tokenizer değişkenleri olarak senin için yüklendi.
Bu egzersiz
Python ile LLM'lere Giriş
kursunun bir parçasıdırEgzersiz talimatları
input_textdeğerini encode edip sağlanan metin üretim modeline geçir.- Oluşturulan metin üzerinde
mean_perplexityskorunu yükle ve hesapla.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])