开始使用免费开始使用

比较健身房活动的宣传标语

您正与一家广告公司合作,评估两个用于生成健身房活动宣传标语的模型。每个模型都产出了一组标语,并附有相应的有效性评分。您的任务是比较两个模型生成的标语,判断哪个模型整体更好,并计算每个模型的成功率。

标语已预加载为 slogans_Xslogans_Y,它们是包含标语及其分数的元组列表。

本练习是课程的一部分

来自人类反馈的强化学习(RLHF)

查看课程

练习说明

  • 对于每对标语:若标语 X 的分数更高,将 wins_X 增加 1;若标语 Y 的分数更高,将 wins_Y 增加 1。

交互式实操练习

通过完成这段示例代码来试试这个练习。

def evaluate_slogans(slogans_X, slogans_Y):
    wins_X, wins_Y = 0, 0
    for (slogan_X, score_X), (slogan_Y, score_Y) in zip(slogans_X, slogans_Y):
        # Assign one point to X if score X is higher, otherwise to Y
        ____
    success_rate_X = (wins_X / len(slogans_X)) * 100
    success_rate_Y = (wins_Y / len(slogans_Y)) * 100
    return success_rate_X, success_rate_Y

results = evaluate_slogans(slogans_X, slogans_Y)
print(f"The resulting scores are {results}")
编辑并运行代码