Perplexity değerlendirme
Metin üretmeyi ve perplexity skorunu değerlendirmeyi dene.
Sana bir cümle başlangıcı olarak bazı input_text verildi: "Current trends show that by 2030 ".
Bir LLM kullanarak cümlenin geri kalanını üret.
Bir AutoModelForCausalLM modeli ve onun tokenizer'ı model ve tokenizer değişkenleri olarak senin için yüklendi.
Bu egzersiz, kursun bir parçasıdır
Python ile LLM'lere Giriş
Egzersiz talimatları
input_textdeğerini encode edip sağlanan metin üretim modeline geçir.- Oluşturulan metin üzerinde
mean_perplexityskorunu yükle ve hesapla.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])