Perplexity evalueren
Ga zelf aan de slag met tekst genereren en het beoordelen van de perplexity-score.
Je hebt input_text gekregen als begin van een zin: "Current trends show that by 2030 ".
Gebruik een LLM om de rest van de zin te genereren.
Een AutoModelForCausalLM-model en de bijbehorende tokenizer zijn al voor je geladen als de variabelen model en tokenizer.
Deze oefening maakt deel uit van de cursus
Introductie tot LLM’s in Python
Oefeninstructies
- Encodeer de
input_texten geef deze door aan het meegeleverde tekstgeneratiemodel. - Laad en bereken de
mean_perplexity-score voor de gegenereerde tekst.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])