Aan de slagGa gratis aan de slag

Metrics met evaluate gebruiken

Tijd om je LLM te evalueren die klantcontacten voor support classificeert. Ga verder waar je je fijn-afgesteld model had achtergelaten en gebruik nu een nieuwe validatiegegevensset om de prestaties van je model te beoordelen.

Een aantal interacties en hun bijbehorende labels zijn voor je geladen als validate_text en validate_labels. Het model en de tokenizer zijn ook geladen.

Deze oefening maakt deel uit van de cursus

Introductie tot LLM’s in Python

Cursus bekijken

Oefeninstructies

  • Haal de voorspelde labels uit de model-logits die je in de outputs vindt.
  • Bereken de vier geladen metriekwaarden door echte (validate_labels) en voorspelde labels te vergelijken.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

accuracy = evaluate.load("accuracy")
precision = evaluate.load("precision")
recall = evaluate.load("recall")
f1 = evaluate.load("f1")

# Extract the new predictions
predicted_labels = ____

# Compute the metrics by comparing real and predicted labels
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
Code bewerken en uitvoeren