跳到正文
AI 编辑审核人工智能

ReA-Bench:用于审计负责任智能体行为的诊断基准

arXiv — cs.AI · Zipeng Ye, Shenyu Dai, Yong Xie, Kun Wang, Jiyang Guan, Zhikai Chen, Jiaqi Weng, Jialing Tao, Hui Xue · Readzer 发布时间

摘要

ReA-Bench 是一个新的诊断基准,用于审计负责任智能体行为,由研究人员提出,旨在弥补现有评估方法的不足。它将审计挑战分为六个层级,包括内部安全知识、轨迹矛盾、长上下文证据检索、来源与推理验证、间接引导和缺失信息,并使用真实生产环境和红队轨迹。该基准包含与风险行为相似但合法的良性案例,以及成对的轨迹版本,以测试审计员在不同条件下的可靠性。

这里提供经过审核的摘要。完整内容请前往原文阅读。

载入阅读状态…

各行业推荐理由

  • 人工智能

    对于AI模型开发者和审计人员,该基准提供了一种结构化方法来评估和改进智能体审计系统,直接针对当前风险检测和误报率方面的不足。