跳到正文
AI 编辑审核人工智能

校准决策奖励:使用知道自身确定性的评判器训练语言模型

arXiv — cs.AI · Rudransh Agnihotri, Manasvi Kapoor · Readzer 发布时间

摘要

论文提出RLCDR,一种使用校准决策模型作为奖励信号的强化学习方法,将LLM转换为对响应类型化问题的概率分布。使用GRPO在MATH上训练Qwen3-1.7B,该无参考奖励将MATH500准确率从72.2%提升至76.8%(+4.65个百分点,p < 1e-4),与使用答案键训练(76.9%)相当,而随机奖励仅提升+0.65。该奖励在策略自身样本上保持校准,期望校准误差为27B骨干softmax评判器的一半(0.074对0.141),且无奖励黑客迹象。

这里提供经过审核的摘要。完整内容请前往原文阅读。

载入阅读状态…

各行业推荐理由

  • 人工智能

    该研究为语言模型强化学习引入了一种新的奖励建模方法,直接关联'推理'和'模型'子主题,对提升模型训练效率和可靠性具有潜在意义。