Evaluasi dengan EM
Exact Match membantu kita mengevaluasi model untuk tugas tanya jawab ekstraktif dengan mencari, seperti yang Anda duga, kecocokan persis. Sekali lagi, Anda telah diberikan beberapa predictions dan references untuk dievaluasi. Pustaka evaluate sudah dimuat untuk Anda.
Latihan ini adalah bagian dari kursus
Pengantar LLM di Python
Petunjuk latihan
- Muat metrik Exact Match.
- Hitung skor Exact Match dan cetak hasilnya.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Load the metric
exact_match = ___
predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]
# Compute the exact match and print the results
results = ____
print("EM results: ", ____)