AI 编辑审核人工智能
RAW:从生产日志中衡量LLM拒绝导致的用户流失
arXiv — cs.AI · Pavel Kireyev · Readzer 发布时间
摘要
该论文提出RAW方法,利用LLM的随机性作为自然实验,以因果方式衡量部署模型中拒绝的用户侧影响。对LMSYS-Chat-1M和WildChat中15个LLM的分析发现,约一半模型中,拒绝使后续重新参与度降低3至17个百分点,而其他模型无显著影响。该方法仅基于日志运行,每1000次对话成本约0.30美元。
这里提供经过审核的摘要。完整内容请前往原文阅读。
载入阅读状态…
各行业推荐理由
- 人工智能
对AI平台而言,这提供了一种低成本、基于日志的方法来量化拒绝对用户留存的影响,有助于调整审核和用户体验设计。