ComeçarComece de graça

Avaliação da perplexidade

Tente gerar o texto e avaliar a pontuação de perplexidade.

Você recebeu um input_text que é o início de uma frase: "As tendências atuais mostram que até 2030".

Use um LLM para gerar o restante da frase.

Um modelo AutoModelForCausalLM e seu tokenizador foram carregados para você como variáveis model e tokenizer.

Este exercício faz parte do curso

Introdução aos LLMs em Python

Ver curso

Instruções do exercício

  • Codifique o endereço input_text e passe-o para o modelo de geração de texto fornecido.
  • Carregue e calcule a pontuação mean_perplexity no texto gerado.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)

print("Generated Text: ", generated_text)

# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])
Editar e executar o código