跳到正文
AI 编辑审核人工智能

RAW:从生产日志中衡量LLM拒绝导致的用户流失

arXiv — cs.AI · Pavel Kireyev · Readzer 发布时间

摘要

该论文提出RAW方法,利用LLM的随机性作为自然实验,以因果方式衡量部署模型中拒绝的用户侧影响。对LMSYS-Chat-1M和WildChat中15个LLM的分析发现,约一半模型中,拒绝使后续重新参与度降低3至17个百分点,而其他模型无显著影响。该方法仅基于日志运行,每1000次对话成本约0.30美元。

这里提供经过审核的摘要。完整内容请前往原文阅读。

载入阅读状态…

各行业推荐理由

  • 人工智能

    对AI平台而言,这提供了一种低成本、基于日志的方法来量化拒绝对用户留存的影响,有助于调整审核和用户体验设计。