Evaluasi dengan METEOR
METEOR unggul dalam mengevaluasi beberapa fitur semantik dalam teks. Cara kerjanya mirip dengan ROUGE dengan membandingkan keluaran yang dihasilkan model dengan keluaran referensi. Anda telah disediakan teks tersebut sebagai generated dan reference; sekarang giliran Anda untuk mengevaluasi skornya.
Pustaka evaluate sudah dimuat untuk Anda.
Latihan ini adalah bagian dari kursus
Pengantar LLM di Python
Petunjuk latihan
- Hitung dan cetak skor METEOR.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
meteor = evaluate.load("meteor")
generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]
# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)