Định nghĩa các metric đánh giá
Bạn đang phát triển một dịch vụ dịch ngôn ngữ thời gian thực cho ứng dụng họp trực tuyến. Để theo dõi quá trình huấn luyện, bạn sẽ định nghĩa các metric đánh giá cho accuracy và F1 score, nhằm đo lường hiệu năng tổng thể của mô hình.
Thư viện evaluate và numpy (np) đã được nhập sẵn.
Bài tập này là một phần của khóa học
Huấn luyện Mô hình AI Hiệu quả với PyTorch
Hướng dẫn bài tập
- Tải
f1score bằng thư việnevaluate;accuracyđã được tải sẵn cho bạn. - Trích xuất
logitsvàlabelsbằng cách giải néneval_predictionsvào hai biến. - Chuyển
logitsthànhpredictions. - Tính
f1score dựa trênpredictionsvàlabels.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
def compute_metrics(eval_predictions):
load_accuracy = evaluate.load("accuracy")
# Load the F1 score
load_f1 = evaluate.load("____")
# Extract logits and labels from eval_predictions
logits, ____ = eval_predictions
# Convert logits to predictions
predictions = np.____(logits, axis=-1)
accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
# Compute the F1 score
f1 = ____.____(predictions=predictions, references=labels)["f1"]
return {"accuracy": accuracy, "f1": f1}