校准决策奖励:使用知道自身确定性的评判器训练语言模型
arXiv — cs.AI ·
你需要知道
论文提出RLCDR,一种使用校准决策模型作为奖励信号的强化学习方法,将LLM转换为对响应类型化问题的概率分布。使用GRPO在MATH上训练Qwen3-1.7B,该无参考奖励将MATH500准确率从72.2%提升至76.8%(+4.65个百分点,p < 1e-4),与使用答案键训练(76.9%)相当,而随机奖励仅提升+0.65。该奖励在策略自身样本上保持校准,期望校准误差为27B骨干softmax评判器的一半(0.074对0.141),且无奖励黑客迹象。
来源与证据
arXiv — cs.AI原文语言 · und ·原作者:Rudransh Agnihotri, Manasvi Kapoor · Source: arXiv and the named paper authors. Descriptive metadata: CC0 1.0.来源许可
各行业推荐理由
- 人工智能
该研究为语言模型强化学习引入了一种新的奖励建模方法,直接关联'推理'和'模型'子主题,对提升模型训练效率和可靠性具有潜在意义。
这里提供经过审核的摘要,完整文章请前往原始来源。