Metrics met evaluate gebruiken
Tijd om je LLM te evalueren die klantcontacten voor support classificeert. Ga verder waar je je fijn-afgesteld model had achtergelaten en gebruik nu een nieuwe validatiegegevensset om de prestaties van je model te beoordelen.
Een aantal interacties en hun bijbehorende labels zijn voor je geladen als validate_text en validate_labels. Het model en de tokenizer zijn ook geladen.
Deze oefening maakt deel uit van de cursus
Introductie tot LLM’s in Python
Oefeninstructies
- Haal de voorspelde labels uit de model-logits die je in de
outputsvindt. - Bereken de vier geladen metriekwaarden door echte (
validate_labels) en voorspelde labels te vergelijken.
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
accuracy = evaluate.load("accuracy")
precision = evaluate.load("precision")
recall = evaluate.load("recall")
f1 = evaluate.load("f1")
# Extract the new predictions
predicted_labels = ____
# Compute the metrics by comparing real and predicted labels
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))