Оцінювання перплексії

Спробуйте згенерувати текст і оцінити показник перплексії.

Вам надано input_text, який є початком речення: "Current trends show that by 2030 ".

Використайте LLM, щоб згенерувати продовження речення.

Модель AutoModelForCausalLM і її токенайзер уже завантажені у змінні model та tokenizer.

Ця вправа є частиною курсу

Вступ до LLM у Python

Переглянути курс

Інструкції до вправи

Закодуйте input_text і передайте його до наданої моделі для генерування тексту.
Завантажте та обчисліть показник mean_perplexity для згенерованого тексту.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])

Редагувати та запускати код