Začněte nyníZačněte zdarma

Vyhodnocení perplexity

Vyzkoušej si generování textu a vyhodnocení skóre perplexity.

Máš k dispozici proměnnou input_text, která obsahuje začátek věty: "Current trends show that by 2030 ".

Pomocí LLM doplň zbytek věty.

Model AutoModelForCausalLM a jeho tokenizer jsou již načteny jako proměnné model a tokenizer.

Toto cvičení je součástí kurzu

Úvod do LLMs v Pythonu

Zobrazit kurz

Pokyny k cvičení

  • Zakóduj input_text a předej ho připravenému modelu pro generování textu.
  • Načti a vypočítej skóre mean_perplexity na vygenerovaném textu.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])
Upravit a spustit kód