ComenzarEmpieza gratis

Evaluar la perplejidad

Prueba a generar texto y evaluar la puntuación de perplejidad.

Te han proporcionado un input_text que es el inicio de una frase: "Las tendencias actuales muestran que para 2030 ".

Utiliza un LLM para generar el resto de la frase.

Se han cargado para ti un modelo AutoModelForCausalLM y su tokenizador como variables model y tokenizer.

Este ejercicio forma parte del curso

Introduction to LLMs in Python

Ver curso

Instrucciones de ejercicio

  • Codifica el input_text y pásalo al modelo de generación de texto proporcionado.
  • Carga y calcula la puntuación mean_perplexity en el texto generado.

Ejercicio interactivo práctico

Pruebe este ejercicio completando este código de muestra.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])
Editar y ejecutar código