1. Обучение
    2. /
  2. Курса
    3. /
  3. Введение в LLM на Python
Connected

упражнение

Оценка перплексии

Попробуйте сгенерировать текст и вычислить показатель перплексии.

Вам предоставлен фрагмент input_text — начало предложения: "Current trends show that by 2030 ".

Используйте языковую модель, чтобы сгенерировать продолжение этого предложения.

Модель AutoModelForCausalLM и её токенизатор уже загружены в переменные model и tokenizer.

Инструкции

100 XP
  • Закодируйте input_text и передайте результат в модель для генерации текста.
  • Загрузите метрику и вычислите значение mean_perplexity для сгенерированного текста.