Aan de slagGa gratis aan de slag

Perplexity evalueren

Ga zelf aan de slag met tekst genereren en het beoordelen van de perplexity-score.

Je hebt input_text gekregen als begin van een zin: "Current trends show that by 2030 ".

Gebruik een LLM om de rest van de zin te genereren.

Een AutoModelForCausalLM-model en de bijbehorende tokenizer zijn al voor je geladen als de variabelen model en tokenizer.

Deze oefening maakt deel uit van de cursus

Introductie tot LLM’s in Python

Cursus bekijken

Oefeninstructies

  • Encodeer de input_text en geef deze door aan het meegeleverde tekstgeneratiemodel.
  • Laad en bereken de mean_perplexity-score voor de gegenereerde tekst.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])
Code bewerken en uitvoeren