Vyhodnocení modelu na vlastní datové sadě

V tomto cvičení použiješ evaluator z balíčku evaluate od Hugging Face, abys zhodnotil/a výkon předtrénovaného modelu na vlastní datové sadě. Měj na paměti, že při vícetřídní klasifikaci s nevyváženými daty není přesnost (accuracy) spolehlivým ukazatelem výkonu. Proto využiješ schopnost evaluátoru poskytovat více metrik najednou: přesnost (precision) a úplnost (recall).

Dataset (dataset) a pipeline (pipe) jsou předem definovány. Knihovna evaluate i třída evaluator jsou již naimportovány.

Vytvoř instanci evaluator pro úlohu "image-classification".
Extrahuj mapování celočíselných hodnot na textové popisky z pipeline.
Vyhodnoť dataset (dataset) a pipeline (pipe) pomocí metrik uložených v metrics_dict a label_map.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

cvičení