Evaluar la perplejidad
Prueba a generar texto y evaluar la puntuación de perplejidad.
Te han proporcionado un input_text
que es el inicio de una frase: "Las tendencias actuales muestran que para 2030 ".
Utiliza un LLM para generar el resto de la frase.
Se han cargado para ti un modelo AutoModelForCausalLM
y su tokenizador como variables model
y tokenizer
.
Este ejercicio forma parte del curso
Introduction to LLMs in Python
Instrucciones de ejercicio
- Codifica el
input_text
y pásalo al modelo de generación de texto proporcionado. - Carga y calcula la puntuación
mean_perplexity
en el texto generado.
Ejercicio interactivo práctico
Pruebe este ejercicio completando este código de muestra.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])