ViBench 2.0：面向长周期软件构建的基准测试

摘要

Replit 推出的 ViBench 2.0 是一个面向长周期软件构建的基准测试，包含 17 个全栈 Web 产品，这些产品通过 241 个功能请求逐步演进，并由浏览器代理执行 544 个测试计划进行评估。作者测试了九种模型，发现存在可靠性差距：最强模型能通过高达 98% 的测试计划，但最多只有 65% 的构建能交付完整可用的产品，且没有开放权重模型能交付完整产品。在某一模型家族的三次发布中，公开产品的 pass@1 从 3% 提升至 53%，而每次构建的成本下降超过一半。

这里提供经过审核的摘要。完整内容请前往原文阅读。

各行业推荐理由

• 人工智能

  该基准测试填补了长周期、代理式软件构建任务评估的空白，与人工智能模型在软件工程中的开发和应用直接相关。