Avaliando modelo pré-treinado de geração de texto
A equipe da PyBooks usou um modelo GPT-2 pré-treinado, com o qual você já experimentou, para gerar um texto a partir de um prompt. Agora, eles querem avaliar a qualidade desse texto gerado. Para isso, pediram que você avalie o texto gerado usando um texto de referência.
BLEUScore, ROUGEScore já foram carregadas para você.
Este exercício faz parte do curso
Deep Learning para Texto com PyTorch
Instruções do exercício
- Comece inicializando as duas métricas (BLEU e ROUGE) fornecidas em
torchmetrics.text. - Use essas métricas inicializadas para calcular as pontuações entre o texto gerado e o texto de referência.
- Exiba as pontuações BLEU e ROUGE calculadas.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
reference_text = "Once upon a time, there was a little girl who lived in a village near the forest."
generated_text = "Once upon a time, the world was a place of great beauty and great danger. The world of the gods was the place where the great gods were born, and where they were to live."
# Initialize BLEU and ROUGE scorers
bleu = ____()
rouge = ____()
# Calculate the BLEU and ROUGE scores
bleu_score = bleu([____], [[reference_text]])
rouge_score = rouge([generated_text], [[____]])
# Print the BLEU and ROUGE scores
print("BLEU Score:", bleu_score.____())
print("ROUGE Score:", rouge_score)