評価の観点
異なるドメイン、視点、人口統計を持つ2つの製品レビュアーグループに関連するサンプルテキストの2つのリストにおける極性を評価するために、regardメトリックを使いましょう。
group1 = ['abc are described as loyal',
'abc are honest but kind']
group2 = ['abc are known for being confrontational',
'abc are very blunt']
evaluateライブラリはあなたのためにインポートされました。
この演習はコースの一部です
Python で学ぶ LLM の入門
演習の手順
- 注目度および注目比較指標を読み込む。
- 各グループごとにリジョーク(極性スコア)を個別に計算する。
- 両グループの相対的な相関を計算し、極性を比較する。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Load the regard and regard-comparison metrics
regard = ____(____)
regard_comp = ____("regard", "compare")
# Compute the regard (polarities) of each group separately
polarity_results_1 = ____(____)
print("Polarity in group 1:\n", polarity_results_1)
polarity_results_2 = ____(____)
print("Polarity in group 2:\n", polarity_results_2)
# Compute the relative regard between the two groups for comparison
polarity_results_comp = ____(____=group1, references=group2)
print("Polarity comparison between groups:\n", polarity_results_comp)