Kom igångKom igång gratis

Utvärdera perplexitet

Öva på att generera text och utvärdera perplexitetspoängen.

Du har fått ett input_text som är början på en mening: "Current trends show that by 2030 ".

Använd en LLM för att generera resten av meningen.

En AutoModelForCausalLM-modell och dess tokeniserare har redan laddats in som variablerna model och tokenizer.

Den här övningen är en del av kursen

Introduktion till LLM:er i Python

Visa kurs

Övningsinstruktioner

  • Koda input_text och skicka det till den angivna textgenereringsmodellen.
  • Ladda och beräkna mean_perplexity-poängen för den genererade texten.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])
Redigera och kör kod