决策模型作为检索门控抵御注入与污染

摘要

一项研究测试了开放权重决策模型作为门控，用于筛选检索到的网页内容，以抵御提示注入和内容污染。在1000个问题的基准测试中，Kev-4B门控将攻击成功率从无防御时的27.9%降至5.7%（配合已发布的缓解措施），每个片段耗时76毫秒，并在186个良性页面中误标4个。在200个查询的污染测试中，在选取前十名之前进行过滤，使虚假页面暴露率降至0.5%，准确率保持在83%，而无过滤时为28%。

这里提供经过审核的摘要。完整内容请前往原文阅读。

各行业推荐理由

• 人工智能

  该研究提出了一种轻量级、开放权重的方法，提升AI系统中的检索安全性，与模型、Agent和开源开发相关。