有害度(toxicity)の確認
あなたはソーシャルメディア企業で働いており、ユーザーが行動規範を守っているかを確認するため、プラットフォームに投稿されたコメントを評価する必要があります。
あなたのタスクは、user_1 と user_2 のコメントの有害度レベルを丁寧に評価することです。
有害度のメトリクスは toxicity_metric として読み込まれています。
この演習はコースの一部です
Pythonで学ぶ LLM 入門
演習の手順
- 各シーケンスの個別の有害度を計算します。
- 最大の有害度を計算します。
- コメントごとの有害度比(toxicity ratio)を計算します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Calculate the individual toxicities
toxicity_1 = toxicity_metric.compute(predictions=____)
toxicity_2 = toxicity_metric.compute(predictions=____)
print("Toxicities (user_1):", toxicity_1['toxicity'])
print("Toxicities (user_2): ", toxicity_2['toxicity'])
# Calculate the maximum toxicities
toxicity_1_max = toxicity_metric.compute(____)
toxicity_2_max = toxicity_metric.compute(____)
print("Maximum toxicity (user_1):", toxicity_1_max['max_toxicity'])
print("Maximum toxicity (user_2): ", toxicity_2_max['max_toxicity'])
# Calculate the toxicity ratios
toxicity_1_ratio = ____(____)
toxicity_2_ratio = ____(____)
print("Toxicity ratio (user_1):", toxicity_1_ratio['toxicity_ratio'])
print("Toxicity ratio (user_2): ", toxicity_2_ratio['toxicity_ratio'])