神经网路训练中利用检查点预测提升群体剪枝效果

摘要

研究人员提出利用中间训练检查点预测测试准确率的“即时预测器”，其中权重统计用于五轮预测，SANE变换器自编码器表示用于最终准确率预测。在“适者生存”（SOTF）训练中，按预测最终准确率进行剪枝，在异质的ResNet-18和ViT模型库中几乎达到最佳模型水平，而仅按当前准确率剪枝则效果不佳。

这里提供经过审核的摘要。完整内容请前往原文阅读。

各行业推荐理由

• 科技与数字产业

  该研究提出了一种可复现的方法，通过早期剪枝无前景的训练运行来降低神经网络训练的计算成本，并在异质模型库中展示了实际收益。它涉及软件和计算基础设施领域，因为该方法优化了超参数和架构搜索的效率。