ÎncepețiÎncepe gratuit

Evaluarea modelului pe un set de date personalizat

În acest exercițiu, vei folosi un evaluator din pachetul evaluate de la Hugging Face pentru a evalua performanța unui model preantrenat pe un set de date personalizat. Reține că, în cazul clasificării multi-clasă cu seturi de date dezechilibrate, acuratețea nu este un indicator de performanță fiabil. Prin urmare, vei folosi capacitatea evaluatorului de a furniza mai multe măsuri simultan: precizia și recall-ul.

Un set de date (dataset) și un pipeline (pipe) au fost predefinite. Biblioteca evaluate și clasa evaluator au fost deja importate.

Acest exercițiu face parte din cursul

Modele Multi-Modale cu Hugging Face

Vezi cursul

Instrucțiuni pentru exercițiu

  • Instanțiază un evaluator pentru sarcina "image-classification".
  • Extrage maparea etichetelor din întreg în șir de caractere din pipeline.
  • Evaluează setul de date (dataset) și pipeline-ul (pipe) folosind metricile stocate în metrics_dict și label_map.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Instantiate the task evaluator
task_evaluator = ____("____")

task_evaluator.METRIC_KWARGS = {"average": "weighted"}

# Get label map from pipeline
label_map = pipe.model.config.____

# Compute the metrics
eval_results = task_evaluator.____(model_or_pipeline=pipe, data=dataset, 
                         metric=evaluate.____(metrics_dict), label_mapping=____)

print(f"Precision: {eval_results['precision']:.2f}, Recall: {eval_results['recall']:.2f}")
Editează și rulează codul