Utilizarea metricilor din evaluate
Este momentul să evaluezi modelul LLM care clasifică interacțiunile cu suportul clienților. Pornind de la modelul tău ajustat, vei folosi acum un nou set de date de validare pentru a evalua performanța modelului.
Câteva interacțiuni și etichetele corespunzătoare au fost încărcate pentru tine ca validate_text și validate_labels. model și tokenizer sunt, de asemenea, încărcate.
Acest exercițiu face parte din cursul
Introducere în LLM-uri cu Python
Instrucțiuni pentru exercițiu
- Extrage etichetele prezise din logit-urile modelului, găsite în
outputs. - Calculează cele patru metrici încărcate comparând etichetele reale (
validate_labels) cu cele prezise.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
accuracy = evaluate.load("accuracy")
precision = evaluate.load("precision")
recall = evaluate.load("recall")
f1 = evaluate.load("f1")
# Extract the new predictions
predicted_labels = ____
# Compute the metrics by comparing real and predicted labels
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))