Definiowanie metryk ewaluacji

Tworzysz usługę tłumaczenia w czasie rzeczywistym dla aplikacji do wideokonferencji. Aby monitorować przebieg trenowania, zdefiniujesz metryki ewaluacji dla dokładności (accuracy) oraz wyniku F1, które mierzą ogólną wydajność modelu.

Biblioteki evaluate i numpy (np) zostały już zaimportowane.

To ćwiczenie jest częścią kursu

Efektywne trenowanie modeli AI z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

Wczytaj metrykę f1 przy użyciu biblioteki evaluate; metryka accuracy została już wczytana.
Wyodrębnij logits i labels, rozpakowując eval_predictions do dwóch zmiennych.
Przekształć logits na predictions.
Oblicz wynik f1 na podstawie predictions i labels.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

Edytuj i uruchom kod