跳到正文
AI 编辑审核人工智能

极简RAG记忆在基准测试中达到SOTA,但在对抗性探针中失败

arXiv — cs.AI · Jingyu Liu, Zongze Li, Zach Xu, Zhanhui Zhou, Tahseen Rabbani, Dawn Song, Ce Zhang · Readzer 发布时间

摘要

论文介绍了BRIDGE,一种极简RAG记忆系统,在LongMemEval-S和BEAM上达到与先前最优方法相当的性能,并在EverMemBench上以5.7-6.3分的优势超越最佳基线。然而,在五个测试规则和模式应用的新对抗性探针中,没有一种架构能全面获胜:原子事实提取器在规则应用上表现最佳,而BRIDGE的块摘要记忆在模式归纳上胜出。作者认为标准基准衡量的是检索能力,而非记忆使智能体能够做什么,并建议基于行动导向的任务来评估智能体记忆。

这里提供经过审核的摘要。完整内容请前往原文阅读。

载入阅读状态…

各行业推荐理由

  • 人工智能

    该研究挑战了当前智能体记忆的评估方法,表明极简系统在标准基准上可媲美复杂系统,但在需要基于记忆规则采取行动的任务上失败。这凸显了AI智能体设计中新评估范式的必要性。