跳到正文

READZER / 全球行业情报

行业观察台

重要变化,持续跟进。

11月22日 · UTC

阅读工作台
最新优先

摘要预览

返回动态

校准决策奖励:使用知道自身确定性的评判器训练语言模型

arXiv — cs.AI ·

你需要知道

论文提出RLCDR,一种使用校准决策模型作为奖励信号的强化学习方法,将LLM转换为对响应类型化问题的概率分布。使用GRPO在MATH上训练Qwen3-1.7B,该无参考奖励将MATH500准确率从72.2%提升至76.8%(+4.65个百分点,p < 1e-4),与使用答案键训练(76.9%)相当,而随机奖励仅提升+0.65。该奖励在策略自身样本上保持校准,期望校准误差为27B骨干softmax评判器的一半(0.074对0.141),且无奖励黑客迹象。

载入阅读状态…

来源与证据

arXiv — cs.AI原文语言 · und ·

原作者:Rudransh Agnihotri, Manasvi Kapoor · Source: arXiv and the named paper authors. Descriptive metadata: CC0 1.0.来源许可

各行业推荐理由
  • 人工智能

    该研究为语言模型强化学习引入了一种新的奖励建模方法,直接关联'推理'和'模型'子主题,对提升模型训练效率和可靠性具有潜在意义。

这里提供经过审核的摘要,完整文章请前往原始来源。