RAW:从生产日志中衡量LLM拒绝导致的用户流失
arXiv — cs.AI ·
你需要知道
该论文提出RAW方法,利用LLM的随机性作为自然实验,以因果方式衡量部署模型中拒绝的用户侧影响。对LMSYS-Chat-1M和WildChat中15个LLM的分析发现,约一半模型中,拒绝使后续重新参与度降低3至17个百分点,而其他模型无显著影响。该方法仅基于日志运行,每1000次对话成本约0.30美元。
来源与证据
arXiv — cs.AI原文语言 · und ·原作者:Pavel Kireyev · Source: arXiv and the named paper authors. Descriptive metadata: CC0 1.0.来源许可
各行业推荐理由
- 人工智能
对AI平台而言,这提供了一种低成本、基于日志的方法来量化拒绝对用户留存的影响,有助于调整审核和用户体验设计。
这里提供经过审核的摘要,完整文章请前往原始来源。