Evaluarea modelului pe un set de date personalizat

În acest exercițiu, vei folosi un evaluator din pachetul evaluate de la Hugging Face pentru a evalua performanța unui model preantrenat pe un set de date personalizat. Reține că, în cazul clasificării multi-clasă cu seturi de date dezechilibrate, acuratețea nu este un indicator de performanță fiabil. Prin urmare, vei folosi capacitatea evaluatorului de a furniza mai multe măsuri simultan: precizia și recall-ul.

Un set de date (dataset) și un pipeline (pipe) au fost predefinite. Biblioteca evaluate și clasa evaluator au fost deja importate.

Instanțiază un evaluator pentru sarcina "image-classification".
Extrage maparea etichetelor din întreg în șir de caractere din pipeline.
Evaluează setul de date (dataset) și pipeline-ul (pipe) folosind metricile stocate în metrics_dict și label_map.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}exercițiu

Instrucțiuni

exercițiu