Perplexität auswerten
Versuche, einen Text zu generieren und das Ergebnis zu bewerten.
Du hast ein input_text
erhalten, das der Anfang eines Satzes ist: "Die aktuellen Trends zeigen, dass bis 2030 ".
Verwende eine LLM, um den Rest des Satzes zu bilden.
Ein AutoModelForCausalLM
Modell und sein Tokenizer wurden für dich als model
und tokenizer
Variablen geladen.
Diese Übung ist Teil des Kurses
Einführung in LLMs in Python
Anleitung zur Übung
- Kodiere die
input_text
und übergebe sie an das angegebene Textgenerierungsmodell. - Lade und berechne den
mean_perplexity
Score für den generierten Text.
Interaktive Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])