НачатьНачать бесплатно

Определение метрик оценки

Вы разрабатываете сервис синхронного перевода для приложения видеоконференций. Чтобы отслеживать процесс обучения, необходимо определить метрики оценки: точность (accuracy) и F1-меру, которые отражают общую производительность модели.

Библиотеки evaluate и numpy (np) уже импортированы.

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

Посмотреть курс

Инструкции к упражнению

  • Загрузите метрику f1 с помощью библиотеки evaluate; метрика accuracy уже загружена за вас.
  • Извлеките logits и labels, распаковав eval_predictions в две переменные.
  • Преобразуйте logits в predictions.
  • Вычислите метрику f1 на основе predictions и labels.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}
Редактировать и запускать код