跳到正文
AI 编辑审核人工智能

CoMPASS:用于衡量LLM强化拟社会行为的多轮基准

arXiv — cs.AI · Shwetanshu Singh, Mark Keavney, Mathieu Duteil, Meriem Mehri, Scott Blain · Readzer 发布时间

摘要

论文介绍了CoMPASS,一个多轮基准,用于衡量LLM是强化还是抵抗用户逐渐升级的拟社会依恋,基于依恋理论,包含四种用户画像和三个升级维度。对来自四个提供商的八个前沿模型进行测试,作者报告称,多轮升级在所有模型上均提高了拟人化和依恋综合得分,其中六个模型在所有维度同时升级时表现出显著的整体强化。跨提供商的差异大于提供商内部的差异,表明提供商层面的选择(如后训练)塑造了拟社会强化。

这里提供经过审核的摘要。完整内容请前往原文阅读。

载入阅读状态…

各行业推荐理由

  • 人工智能

    该基准直接针对LLM引发的拟社会依恋的安全与伦理影响,这是对话式AI部署中的关键问题。