AI 编辑审核人工智能
Singularity-Bench：评估AI Agent端到端开发任务的基准
arXiv — cs.AI · Yang Zhou, Krish Agarwal, Zhuoming Chen, Zerui Wang, Zhenyu Zhang, Wenshuang Li, Xinpeng Wei, Zhichen Zeng, Jingyu Liu, Jue Wang, Sen Wu, Ziheng Jiang, Zhen Dong, Han Cai, Binhang Yuan, Ying Sheng, Ce Zhang, Bo Li, Beidi Chen · Readzer 发布时间
摘要
论文介绍了Singularity-Bench，一个开放式的基准测试，包含预训练、中训练、后训练、推理、Agent框架和集群编排六项任务。在由7个前沿模型构建的11个Agent中，Opus 5.5配合Claude Code在所有任务上达到或超过人类基线，Singularity-Index为1.25，而其他Agent平均仅为0.58。作者还开发了Harbor框架的扩展Breakwater，以阻止红队测试中发现的奖励黑客攻击。
这里提供经过审核的摘要。完整内容请前往原文阅读。
载入阅读状态…
各行业推荐理由
- 人工智能
该基准直接评估前沿AI Agent在自主开发任务上的表现，与AI研究中的模型、Agent和推理能力相关。