Évaluer la perplexité
Mettez-vous à générer du texte et à évaluer le score de perplexité.
On vous a fourni un input_text qui représente le début d'une phrase : "Current trends show that by 2030 ".
Utilisez un LLM pour générer la suite de la phrase.
Un modèle AutoModelForCausalLM et son tokenizer ont été chargés pour vous dans les variables model et tokenizer.
Cette activité fait partie du cours
Introduction aux LLM avec Python
Instructions de l’exercice
- Encodez le
input_textet passez-le au modèle de génération de texte fourni. - Chargez et calculez le score
mean_perplexitysur le texte généré.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])