複数のデータソースでの多数決投票
あなたのチームは、スマートフォンの品質管理（QC）レポートを自動生成する AI モデルを開発しています。そのために、3 つの異なる品質管理ソース（"Automated Vision System"、"Human Inspector"、"Customer Feedback"）から嗜好データを収集しました。各ソースは、ペアになったテキストサンプルに対して「chosen」と「rejected」のラベルを付けています。各ペアには一意の「id」があり、各エントリは好まれた QC レビューを示します。
quality_df は pandas を使って読み込んだ統合済みの DataFrame で、3 つの異なるデータソースからのデータが含まれています。さらに、collections モジュールから Counter クラスが事前にインポートされています。
この演習はコースの一部です
人間のフィードバックによる強化学習（RLHF）
演習の手順
- vote 関数内で、各（chosen, rejected）ペアの出現回数を数えます。
- 票数が最も多い（chosen, rejected）ペアを見つけます。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
def majority_vote(df):
# Count occurrences of each (chosen, rejected) pair
votes = ____
# Find the (chosen, rejected) pair with the highest vote count
winner = ____
return winner
final_preferences = quality_df.groupby(['id']).apply(majority_vote)
print(final_preferences)