Das Modell in den Auswertungsmodus versetzen

Du bist bereit, dein Sprachmodell in den Auswertungsmodus zu versetzen. Wenn sich das Modell während der Inferenz nicht im Auswertungsmodus befindet, führen Schichten wie Batch-Normalisierung und Dropout zu veränderten Verhaltensweisen des Modells, was zu inkonsistenter Übersetzungsqualität führt. Baue die Schleife, um das Modell zu evaluieren!

Einige Daten wurden bereits geladen: model, eval_dataloader, accelerator und metric.

Diese Übung ist Teil des Kurses

Effizientes KI-Modelltraining mit PyTorch

Kurs anzeigen

Anleitung zur Übung

Setze das Modell vor der Schleife über die Batches im Datensatz in den Auswertungsmodus.
Aggregiere predictions und labels geräteübergreifend, um mit der Accelerator-Methode .gather_for_metrics() die Auswertungsmetriken zu berechnen.
Berechne am Ende die Auswertungsmetrik.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

metric = evaluate.load("glue", "mrpc")

# Set the model in evaluation mode
____.____()
for step, batch in enumerate(eval_dataloader):
    with torch.no_grad():
        outputs = model(**batch)
    predictions = outputs.logits.argmax(dim=-1)
    # Aggregate values across devices
    predictions, references = ____.____((predictions, batch["labels"]))
    metric.add_batch(predictions=predictions, references=references)
# Compute the evaluation metric
eval_metric = metric.____()
print(eval_metric)

Code bearbeiten und ausführen