Ocena wstępnie wytrenowanego modelu do generowania tekstu
Zespół PyBooks skorzystał ze wstępnie wytrenowanego modelu GPT-2, z którym wcześniej eksperymentowałeś, aby wygenerować tekst na podstawie podanego promptu. Teraz chce ocenić jakość wygenerowanego tekstu. Twoim zadaniem jest porównanie go z tekstem referencyjnym.
BLEUScore i ROUGEScore zostały już załadowane.
To ćwiczenie jest częścią kursu
Uczenie głębokie dla tekstu z PyTorch
Instrukcje do ćwiczenia
- Zainicjalizuj obie metryki (BLEU i ROUGE) dostępne w
torchmetrics.text. - Użyj zainicjalizowanych metryk, aby obliczyć wyniki dla wygenerowanego tekstu i tekstu referencyjnego.
- Wyświetl obliczone wartości metryk BLEU i ROUGE.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
reference_text = "Once upon a time, there was a little girl who lived in a village near the forest."
generated_text = "Once upon a time, the world was a place of great beauty and great danger. The world of the gods was the place where the great gods were born, and where they were to live."
# Initialize BLEU and ROUGE scorers
bleu = ____()
rouge = ____()
# Calculate the BLEU and ROUGE scores
bleu_score = bleu([____], [[reference_text]])
rouge_score = rouge([generated_text], [[____]])
# Print the BLEU and ROUGE scores
print("BLEU Score:", bleu_score.____())
print("ROUGE Score:", rouge_score)