ПочатиПочніть безкоштовно

Визначте метрики оцінювання

Ви розробляєте сервіс синхронного перекладу мовлення для застосунку відеоконференцій. Щоб відстежувати навчання, ви визначите метрики оцінювання для accuracy та F1-score, які вимірюють загальну якість моделі.

Бібліотеки evaluate і numpy (np) уже імпортовано.

Ця вправа є частиною курсу

Ефективне тренування моделей ШІ з PyTorch

Переглянути курс

Інструкції до вправи

  • Завантажте метрику f1 за допомогою бібліотеки evaluate; accuracy уже завантажено для вас.
  • Видобудьте logits і labels, розпакувавши eval_predictions у дві змінні.
  • Перетворіть logits на predictions.
  • Обчисліть f1 на основі predictions і labels.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}
Редагувати та запускати код