AI 编辑审核人工智能
排行榜黑客:基于偏好的模型评估易受操纵
arXiv — cs.AI · Eve Fleisig, Joachim Baumann, Dylan Hadfield-Menell, Dirk Hovy · Readzer 发布时间
摘要
一项新的arXiv研究(2611.14769)表明,使用Bradley-Terry模型的竞技场式排行榜容易受到操纵。策略性投票、提示和提名等策略可单独将模型排名提升15-20位,组合使用可提升多达45位。作者在公开数据上展示了这些影响,并提出了防护措施。
这里提供经过审核的摘要。完整内容请前往原文阅读。
载入阅读状态…
各行业推荐理由
- 人工智能
这与AI模型评估和排名直接相关,是模型开发和部署的核心方面。研究结果揭示了常见评估框架中的安全漏洞,影响排行榜的可信度和模型选择。