Оценка перплексии

Попробуйте сгенерировать текст и вычислить показатель перплексии.

Вам предоставлен фрагмент input_text — начало предложения: "Current trends show that by 2030 ".

Используйте языковую модель, чтобы сгенерировать продолжение этого предложения.

Модель AutoModelForCausalLM и её токенизатор уже загружены в переменные model и tokenizer.

Это упражнение является частью курса

Введение в LLM на Python

Посмотреть курс

Инструкции к упражнению

Закодируйте input_text и передайте результат в модель для генерации текста.
Загрузите метрику и вычислите значение mean_perplexity для сгенерированного текста.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])

Редактировать и запускать код