LoslegenKostenlos loslegen

Perplexität auswerten

Versuche, einen Text zu generieren und das Ergebnis zu bewerten.

Du hast ein input_text erhalten, das der Anfang eines Satzes ist: "Die aktuellen Trends zeigen, dass bis 2030 ".

Verwende eine LLM, um den Rest des Satzes zu bilden.

Ein AutoModelForCausalLM Modell und sein Tokenizer wurden für dich als model und tokenizer Variablen geladen.

Diese Übung ist Teil des Kurses

Einführung in LLMs in Python

Kurs anzeigen

Anleitung zur Übung

  • Kodiere die input_text und übergebe sie an das angegebene Textgenerierungsmodell.
  • Lade und berechne den mean_perplexity Score für den generierten Text.

Interaktive Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])
Code bearbeiten und ausführen