跳到正文
AI 编辑审核人工智能

排行榜黑客:基于偏好的模型评估易受操纵

arXiv — cs.AI · Eve Fleisig, Joachim Baumann, Dylan Hadfield-Menell, Dirk Hovy · Readzer 发布时间

摘要

一项新的arXiv研究(2611.14769)表明,使用Bradley-Terry模型的竞技场式排行榜容易受到操纵。策略性投票、提示和提名等策略可单独将模型排名提升15-20位,组合使用可提升多达45位。作者在公开数据上展示了这些影响,并提出了防护措施。

这里提供经过审核的摘要。完整内容请前往原文阅读。

载入阅读状态…

各行业推荐理由

  • 人工智能

    这与AI模型评估和排名直接相关,是模型开发和部署的核心方面。研究结果揭示了常见评估框架中的安全漏洞,影响排行榜的可信度和模型选择。