Avaliação da perplexidade
Tente gerar o texto e avaliar a pontuação de perplexidade.
Você recebeu um input_text que é o início de uma frase: "As tendências atuais mostram que até 2030".
Use um LLM para gerar o restante da frase.
Um modelo AutoModelForCausalLM e seu tokenizador foram carregados para você como variáveis model e tokenizer.
Este exercício faz parte do curso
Introdução aos LLMs em Python
Instruções do exercício
- Codifique o endereço
input_texte passe-o para o modelo de geração de texto fornecido. - Carregue e calcule a pontuação
mean_perplexityno texto gerado.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])