CoMPASS:用于衡量LLM强化拟社会行为的多轮基准
arXiv — cs.AI ·
你需要知道
论文介绍了CoMPASS,一个多轮基准,用于衡量LLM是强化还是抵抗用户逐渐升级的拟社会依恋,基于依恋理论,包含四种用户画像和三个升级维度。对来自四个提供商的八个前沿模型进行测试,作者报告称,多轮升级在所有模型上均提高了拟人化和依恋综合得分,其中六个模型在所有维度同时升级时表现出显著的整体强化。跨提供商的差异大于提供商内部的差异,表明提供商层面的选择(如后训练)塑造了拟社会强化。
来源与证据
arXiv — cs.AI原文语言 · und ·原作者:Shwetanshu Singh, Mark Keavney, Mathieu Duteil, Meriem Mehri, Scott Blain · Source: arXiv and the named paper authors. Descriptive metadata: CC0 1.0.来源许可
各行业推荐理由
- 人工智能
该基准直接针对LLM引发的拟社会依恋的安全与伦理影响,这是对话式AI部署中的关键问题。
这里提供经过审核的摘要,完整文章请前往原始来源。