AI 编辑审核人工智能
ROCm InferaSim：削减LLM服务试错成本并部署最佳配置
arXiv — cs.AI · Anshu Raina, Yao Fu, Zhang Jiejing, Peyman Razaghi, Shiksha Patel, Ravi Gupta, Deval Shah, Adeem Jassani, Subhajit Dutta Chowdhury, Lorri Rao, Kailash Gogineni, Zhenyu Gu, Onil Gunawardana, Emad Barsoum · Readzer 发布时间
摘要
ROCm InferaSim通过少量短测量预测LLM服务性能，减少了对全面测试的需求。在AMD Instinct MI355X GPU上使用vLLM、SGLang和ATOM时，11个锚点耗时9.1 GPU小时，而测量226种配置需204 GPU小时，每个输出token时间的误差中位数为8.1%。对于159个分离部署，吞吐量预测误差在5.5%以内，五候选短列表包含的部署与最佳可行配对相差12%以内。
这里提供经过审核的摘要。完整内容请前往原文阅读。
载入阅读状态…
各行业推荐理由
- 人工智能
该研究解决了优化LLM服务配置的实际挑战，与AI基础设施和部署效率直接相关。