Evaluation मेट्रिक्स परिभाषित करें
आप एक वीडियो कॉन्फ्रेंसिंग एप्लिकेशन में रियल-टाइम भाषा अनुवाद सेवा बना रहे हैं. ट्रेनिंग की मॉनिटरिंग के लिए, आप accuracy और F1 score जैसी evaluation मेट्रिक्स परिभाषित करेंगे, जो समग्र मॉडल परफॉर्मेंस को मापती हैं.
evaluate और numpy (np) लाइब्रेरी पहले से इम्पोर्ट की गई हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण
अभ्यास निर्देश
evaluateलाइब्रेरी का उपयोग करकेf1score लोड करें;accuracyआपके लिए पहले से लोड है.eval_predictionsको दो वैरिएबल में अनपैक करकेlogitsऔरlabelsनिकालें.logitsकोpredictionsमें कन्वर्ट करें.predictionsऔरlabelsके आधार परf1score compute करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
def compute_metrics(eval_predictions):
load_accuracy = evaluate.load("accuracy")
# Load the F1 score
load_f1 = evaluate.load("____")
# Extract logits and labels from eval_predictions
logits, ____ = eval_predictions
# Convert logits to predictions
predictions = np.____(logits, axis=-1)
accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
# Compute the F1 score
f1 = ____.____(predictions=predictions, references=labels)["f1"]
return {"accuracy": accuracy, "f1": f1}