Evaluarea textului generat folosind ROUGE
Ți se oferă 10 eșantioane dintr-un set de date de tip întrebări și răspunsuri (Softage-AI/sft-conversational_dataset).
Ai folosit TinyLlama-1.1B pentru a genera răspunsuri la aceste eșantioane, iar sarcina ta este să evaluezi calitatea rezultatelor generate față de răspunsurile de referință.
Răspunsurile generate de acest model se află în test_answers, iar răspunsurile de referință în reference_answers. Folosește metricile de evaluare ROUGE pentru a aprecia calitatea generărilor modelului.
Acest exercițiu face parte din cursul
Fine-Tuning cu Llama 3
Instrucțiuni pentru exercițiu
- Importă clasa de evaluare și metrica (metrica ROUGE).
- Instanțiază clasa de evaluare și încarcă metrica ROUGE.
- Rulează instanța evaluatorului cu
reference_answersșitest_answerspentru a calcula scorurile ROUGE. - Stochează în
final_scorescorul din rezultate care verifică suprapunerea perechilor de cuvinte dintre răspunsurile de referință și cele generate.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Import the evaluation library from Hugging Face
import ____
# Instantiate your evaluate library and load the ROUGE metric
rouge_evaluator = ____.load(____)
# Fill in the method, and place your reference answers and test answers
results = rouge_evaluator.____
# Extract the ROUGE1 score from the results dictionary
final_score = results[____]
print(final_score)