評価メトリクスを定義する

ビデオ会議アプリケーション向けのリアルタイム言語翻訳サービスを開発しています。学習の進捗を監視するために、モデル全体の性能を測定する評価メトリクスとして、正解率（accuracy）と F1 スコアを定義しましょう。

evaluate ライブラリと numpy（np）ライブラリはあらかじめインポートされています。

この演習はコースの一部です

PyTorch による効率的な AI モデルトレーニング

コースを見る

演習の手順

evaluate ライブラリを使って f1 スコアを読み込みましょう。accuracy はすでに読み込まれています。
eval_predictions を 2 つの変数にアンパックして、logits と labels を取り出します。
logits を predictions に変換します。
predictions と labels に基づいて f1 スコアを計算します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

def compute_metrics(eval_predictions):
    load_accuracy = evaluate.load("accuracy")
  	# Load the F1 score
    load_f1 = evaluate.load("____")
    # Extract logits and labels from eval_predictions
    logits, ____ = eval_predictions
    # Convert logits to predictions
    predictions = np.____(logits, axis=-1)
    accuracy = load_accuracy.compute(predictions=predictions, references=labels)["accuracy"]
    # Compute the F1 score
    f1 = ____.____(predictions=predictions, references=labels)["f1"]
    return {"accuracy": accuracy, "f1": f1}

コードを編集して実行