当专家分歧有害：LLM决策修订中的声望与选择性

摘要

一项新的arXiv研究引入两遍审计来衡量LLM在分歧后是否改进决策，发现没有模型在专家分歧下达到选择性标准，准确率下降高达16.1个百分点。专家标签增加了五个模型中四个的逆转次数，但其对准确率的影响从损失5.2点到增益2.4点不等，表明逆转次数不能很好地衡量危害。作者建议使用配对条件指标来评估修订流程。

这里提供经过审核的摘要。完整内容请前往原文阅读。

各行业推荐理由

• 人工智能

  该研究直接探讨了分歧下的模型行为，与AI模型评估及推理和Agent场景中的安全性相关。