1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Mô hình đa phương thức với Hugging Face
Connected

Bài tập

Đánh giá mô hình trên tập dữ liệu tùy chỉnh

Trong bài tập này, bạn sẽ dùng một evaluator từ package evaluate của Hugging Face để đánh giá hiệu năng của một mô hình đã được huấn luyện sẵn trên một tập dữ liệu tùy chỉnh. Lưu ý rằng, với phân loại đa lớp và dữ liệu mất cân bằng, accuracy không phải là chỉ báo hiệu năng đáng tin cậy. Vì vậy, bạn sẽ tận dụng khả năng của evaluator để cung cấp nhiều thước đo cùng lúc: precision và recall.

Một tập dữ liệu (dataset) và một pipeline (pipe) đã được định nghĩa sẵn. Thư viện evaluate và class evaluator cũng đã được import.

Hướng dẫn

100 XP
  • Khởi tạo một evaluator cho tác vụ "image-classification" của bạn.
  • Trích xuất ánh xạ nhãn từ số nguyên sang chuỗi từ pipeline.
  • Đánh giá tập dữ liệu (dataset) và pipeline (pipe) bằng các chỉ số lưu trong metrics_dict và label_map.