始める無料で始める

モデルの性能を評価する

PyBooks チームは書籍レコメンドエンジンの開発を着実に進めています。モデリングチームから、PyBooks のレコメンドエンジン向けに2つのモデルが提供されました。1つは LSTM（lstm_model）に基づくモデル、もう1つは GRU（gru_model）を用いるモデルです。これらのモデルを評価し、比較する役割があなたに割り当てられました。

テスト用ラベルは y_test、各モデルの予測は lstm_model 用が y_pred_lstm、gru_model 用が y_pred_gru です。

この演習はコースの一部です

PyTorch で学ぶテキストの Deep Learning

コースを見る

演習の手順

  • num_classes と task を指定して、多クラス分類の accuracy、precision、recall、F1 を定義します。
  • lstm_model の accuracy、precision、recall、F1 スコアを計算して表示します。
  • 同様に、gru_model の評価指標を計算します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Create an instance of the metrics
accuracy = ____(task=____, num_classes=3)
precision = ____(task=____, num_classes=3)
recall = ____(task=____, num_classes=3)
f1 = ____(task=____, num_classes=3)

# Calculate metrics for the LSTM model
accuracy_1 = accuracy(____, ____)
precision_1 = precision(____, ____)
recall_1 = recall(____, ____)
f1_1 = f1(____, ____)
print("LSTM Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_1, precision_1, recall_1, f1_1))

# Calculate metrics for the GRU model
accuracy_2 = accuracy(____, ____)
precision_2 = precision(____, ____)
recall_2 = recall(____, ____)
f1_2 = f1(____, ____)
print("GRU Model - Accuracy: {}, Precision: {}, Recall: {}, F1 Score: {}".format(accuracy_2, precision_2, recall_2, f1_2))
コードを編集して実行