LoslegenKostenlos loslegen

Perplexity bewerten

Versuche doch mal, einen Text zu erstellen und den Perplexity-Score zu bewerten.

Dir wird ein input_text bereitgestellt, bei dem es sich um den Anfang eines Satzes handelt: „Current trends show that by 2030“.

Lass den Satz von einem LLM zu Ende schreiben.

Ein AutoModelForCausalLM-Modell und sein Tokenizer wurden für dich als die Variablen model und tokenizer geladen.

Diese Übung ist Teil des Kurses

Einführung in LLMs mit Python

Kurs anzeigen

Anleitung zur Übung

  • Kodiere input_text und gib sie an das zur Verfügung stehende Textgenerierungsmodell weiter.
  • Lade und berechne den Score mean_perplexity für den erstellten Text.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])
Code bearbeiten und ausführen