并行提示（Parallel Prompting）通过同时解码多个问题加速共享上下文的LLM推理

摘要

该论文提出并行提示方法，将针对同一长文档的多个独立问题作为单个请求中的并行流进行解码，从而减少内存带宽开销。在SGLang中实现仅需约80行代码，在A100上比原版SGLang快3.7倍，在RTX A6000上快5.9-6.0倍，共144次运行均优于基线。该方法使用流ID注意力掩码和固定形状CUDA图，代码已公开在GitHub上。

这里提供经过审核的摘要。完整内容请前往原文阅读。

各行业推荐理由

• 人工智能

  该研究直接提升了文档问答、数据标注和基于LLM的评估等常见AI工作负载的推理效率，降低了延迟和带宽成本。