Đánh giá mô hình trên tập dữ liệu tùy chỉnh
Trong bài tập này, bạn sẽ dùng một evaluator từ package evaluate của Hugging Face để đánh giá hiệu năng của một mô hình đã được huấn luyện sẵn trên một tập dữ liệu tùy chỉnh. Lưu ý rằng, với phân loại đa lớp và dữ liệu mất cân bằng, accuracy không phải là chỉ báo hiệu năng đáng tin cậy. Vì vậy, bạn sẽ tận dụng khả năng của evaluator để cung cấp nhiều thước đo cùng lúc: precision và recall.
Một tập dữ liệu (dataset) và một pipeline (pipe) đã được định nghĩa sẵn. Thư viện evaluate và class evaluator cũng đã được import.
Bài tập này là một phần của khóa học
Mô hình đa phương thức với Hugging Face
Hướng dẫn bài tập
- Khởi tạo một
evaluatorcho tác vụ"image-classification"của bạn. - Trích xuất ánh xạ nhãn từ số nguyên sang chuỗi từ pipeline.
- Đánh giá tập dữ liệu (
dataset) và pipeline (pipe) bằng các chỉ số lưu trongmetrics_dictvàlabel_map.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Instantiate the task evaluator
task_evaluator = ____("____")
task_evaluator.METRIC_KWARGS = {"average": "weighted"}
# Get label map from pipeline
label_map = pipe.model.config.____
# Compute the metrics
eval_results = task_evaluator.____(model_or_pipeline=pipe, data=dataset,
metric=evaluate.____(metrics_dict), label_mapping=____)
print(f"Precision: {eval_results['precision']:.2f}, Recall: {eval_results['recall']:.2f}")