Zacznij terazZacznij za darmo

Ewaluacja z użyciem METEOR

METEOR świetnie sprawdza się przy ocenie semantycznych właściwości tekstu. Działa podobnie do ROUGE – porównuje wynik wygenerowany przez model z tekstem referencyjnym. Oba teksty są już dostępne jako generated i reference – teraz twoja kolej, żeby obliczyć wynik.

Biblioteka evaluate jest już załadowana.

To ćwiczenie jest częścią kursu

Wprowadzenie do LLM w Pythonie

Zobacz kurs

Instrukcje do ćwiczenia

  • Oblicz i wyświetl wynik METEOR.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

meteor = evaluate.load("meteor")

generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]

# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)
Edytuj i uruchom kod