Perplexity bewerten
Versuche doch mal, einen Text zu erstellen und den Perplexity-Score zu bewerten.
Dir wird ein input_text bereitgestellt, bei dem es sich um den Anfang eines Satzes handelt: „Current trends show that by 2030“.
Lass den Satz von einem LLM zu Ende schreiben.
Ein AutoModelForCausalLM-Modell und sein Tokenizer wurden für dich als die Variablen model und tokenizer geladen.
Diese Übung ist Teil des Kurses
Einführung in LLMs mit Python
Anleitung zur Übung
- Kodiere
input_textund gib sie an das zur Verfügung stehende Textgenerierungsmodell weiter. - Lade und berechne den Score
mean_perplexityfür den erstellten Text.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])