Hodnocení předtrénovaného modelu pro generování textu
Tým PyBooks použil předtrénovaný model GPT-2, se kterým jsi experimentoval/a, k vygenerování textu na základě zadaného promptu. Teď chtějí kvalitu vygenerovaného textu vyhodnotit. Za tímto účelem tě pověřili hodnocením vygenerovaného textu v porovnání s referenčním textem.
BLEUScore a ROUGEScore už jsou načteny.
Toto cvičení je součástí kurzu
Deep Learning for Text with PyTorch
Pokyny k cvičení
- Začni inicializací obou metrik (BLEU a ROUGE) dostupných z
torchmetrics.text. - Pomocí inicializovaných metrik vypočítej skóre mezi vygenerovaným textem a referenčním textem.
- Zobraz vypočítané hodnoty skóre BLEU a ROUGE.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
reference_text = "Once upon a time, there was a little girl who lived in a village near the forest."
generated_text = "Once upon a time, the world was a place of great beauty and great danger. The world of the gods was the place where the great gods were born, and where they were to live."
# Initialize BLEU and ROUGE scorers
bleu = ____()
rouge = ____()
# Calculate the BLEU and ROUGE scores
bleu_score = bleu([____], [[reference_text]])
rouge_score = rouge([generated_text], [[____]])
# Print the BLEU and ROUGE scores
print("BLEU Score:", bleu_score.____())
print("ROUGE Score:", rouge_score)