在线策略蒸馏与GRPO的计算效率比较

摘要

一项研究比较了在线策略蒸馏（OPD）与组相对策略优化（GRPO）在达到目标精度所需的训练FLOPs。使用外部后训练教师时，OPD通常不如GRPO；但当教师是学生自身的GRPO检查点时，OPD在数学任务上以50倍更少的蒸馏FLOPs恢复了该检查点的精度。多教师OPD将各领域的GRPO专家整合为单一学生，匹配每个专家的精度，蒸馏成本仅占专家训练FLOPs的5.2%（2个领域）和8.0%（4个领域），在2领域混合任务上以总FLOPs减少42.0%达到联合GRPO的性能。

这里提供经过审核的摘要。完整内容请前往原文阅读。

各行业推荐理由

• 人工智能

  与AI模型训练效率相关，特别是推理和Agent模型，为蒸馏相比强化学习何时能减少计算提供了见解。