1. Learn
    2. /
  2. Courses
    3. /
  3. Nhập môn LLMs trong Python
Connected

Exercise

Sử dụng các chỉ số của evaluate

Đến lúc đánh giá LLM phân loại các tương tác hỗ trợ khách hàng của bạn. Tiếp nối từ mô hình đã fine-tune trước đó, giờ bạn sẽ dùng một tập dữ liệu kiểm định mới để đánh giá hiệu năng của mô hình.

Một số tương tác và nhãn tương ứng đã được nạp sẵn dưới tên validate_text và validate_labels. model và tokenizer cũng đã được nạp.

Instructions

100 XP
  • Trích xuất nhãn dự đoán từ logits của mô hình trong outputs.
  • Tính bốn chỉ số đã nạp bằng cách so sánh nhãn thực (validate_labels) và nhãn dự đoán.