IniziaInizia gratis

Valutare la perplexity

Mettiti alla prova generando testo e valutando il punteggio di perplexity.

Ti è stato fornito un input_text che è l’inizio di una frase: "Current trends show that by 2030 ".

Usa un LLM per generare il resto della frase.

Un modello AutoModelForCausalLM e il suo tokenizer sono già caricati come variabili model e tokenizer.

Questo esercizio fa parte del corso

Introduzione agli LLM in Python

Visualizza il corso

Istruzioni dell'esercizio

  • Codifica l'input_text e passalo al modello di generazione del testo fornito.
  • Carica e calcola il punteggio di mean_perplexity sul testo generato.

Esercizio pratico interattivo

Prova a risolvere questo esercizio completando il codice di esempio.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])
Modifica ed esegui il codice