Évaluation de la perplexité
Essayez de générer du texte et d'évaluer le score de perplexité.
Vous disposez de input_text qui constitue le début d'une phrase : « Les tendances actuelles indiquent que d'ici 2030 ».
Utilisez un LLM pour générer le reste de la phrase.
Un modèle AutoModelForCausalLM et son tokenizer ont été chargés pour vous en tant que variables model et tokenizer.
Cet exercice fait partie du cours
Introduction aux LLM en Python
Instructions
- Encodez l'
input_textet transmettez-le au modèle de génération de texte fourni. - Chargez et calculez le score
mean_perplexitysur le texte généré.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])