ÎncepețiÎncepe gratuit

Evaluarea perplexității

Exersează generarea de text și evaluarea scorului de perplexitate.

Ți-a fost furnizat un input_text care reprezintă începutul unei propoziții: „Current trends show that by 2030 ".

Folosește un LLM pentru a genera restul propoziției.

Un model AutoModelForCausalLM și tokenizer-ul aferent au fost încărcate pentru tine ca variabilele model și tokenizer.

Acest exercițiu face parte din cursul

Introducere în LLM-uri cu Python

Vezi cursul

Instrucțiuni pentru exercițiu

  • Codifică input_text și transmite-l modelului de generare a textului furnizat.
  • Încarcă și calculează scorul mean_perplexity pe textul generat.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])
Editează și rulează codul