メトリクスでRLHFを評価する
あなたは人間のフィードバックを用いた強化学習(RLHF)でモデルを学習しており、適切なメトリクスでその性能を評価する必要があります。
次のうち、自動評価指標を用いて要約タスクを評価するのに最も適しているものはどれですか?
コンソールを使ってデータを可視化し、どのメトリクスがこのタスクに最適か判断してください。評価対象のデータは、df_evaluation という名前のDataFrameとしてあらかじめ読み込まれています。
この演習はコースの一部です
あなたは人間のフィードバックを用いた強化学習(RLHF)でモデルを学習しており、適切なメトリクスでその性能を評価する必要があります。
次のうち、自動評価指標を用いて要約タスクを評価するのに最も適しているものはどれですか?
コンソールを使ってデータを可視化し、どのメトリクスがこのタスクに最適か判断してください。評価対象のデータは、df_evaluation という名前のDataFrameとしてあらかじめ読み込まれています。
この演習はコースの一部です