LoOPSD：让大模型向“多算几层的自己”学习

语音小管家2026-11-02阅读 17原创

近年来，在线策略蒸馏（On-Policy Distillation，OPD）逐渐成为提升大语言模型推理能力的重要方法。它让学生在自己生成的回答轨迹上，学习教师提供的 token 级预测。进一步地，在线策略自蒸馏（On-Policy Self-Distillation，OPSD）尝试由模型自身提供这些监督，从而减少对外部强教师的依赖。

然而，自蒸馏仍然需要教师能够提供比学生更有用的预测。现有方法通常通过向教师提供额外上下文或特殊推理指令，使相同模型产生更有价值的监督信号。这也引出了一个值得探索的方向：除了改变教师接收的信息，能否通过改变模型自身的计算方式来构造更强的教师？

近期的层执行路径研究为这一方向提供了新的可能。研究发现，即使保持预训练权重不变，通过重复或重新排列部分 Transformer 层，也能够改善模型的推理表现。如果改变层执行路径能够带来额外的推理优势，那么这些优势能否进一步通过蒸馏，被正常执行的学生模型学会？

LoOPSD（On-Policy Self-Distillation with Looped Teachers）正是为回答这一问题而提出。它通过搜索层循环路径构造更强的自教师，再利用在线策略蒸馏，将教师的预测优势转化为标准路径学生的参数更新。通过交替进行教师搜索与蒸馏，更新后的学生还能够继续从自身的额外计算中学习，最终在不改变原有层执行路径的情况下获得更强的推理能力。

LoOPSD：让不同的层执行路径成为监督来源

对于一个预训练 Transformer，通常每个 token 都依次通过固定顺序的网络层。LoOPSD 考虑在执行过程中，将其中一段连续的层再执行一次。例如，原本的路径是 L1→L2→L3→L4→L5，循环 L2、L3 后就变为 L1→L2→L3→L2→L3→L4→L5。

被重复执行的层直接复用原有参数。同一个模型由此拥有两条计算路径：一条是正常执行的学生路径，另一条是经过层循环、包含额外计算的教师路径。如果后者能产生更有用的预测，就可以用于指导前者学习。

层循环的效果与具体执行区间有关。LoOPSD 因此将层区间选择纳入教师构造过程，利用带答案的问题比较候选路径，从中寻找能为当前学生提供有效监督的教师。

LoOPSD 是怎么做到的？

LoOPSD 将教师搜索、在线蒸馏与迭代更新连接成一个完整流程，如图 1 所示。

（图 1：LoOPSD 的整体框架。左侧搜索循环层以构造教师，中间在学生生成前缀上进行在线策略蒸馏，右侧利用更新后的学生继续构造教师）

首先，通过层搜索构造循环教师。LoOPSD 在不修改当前模型权重的情况下，枚举并评估连续层区间的重复执行路径。利用少量带答案的样本进行候选筛选，再在独立验证集上与标准执行路径比较，选择能够带来性能提升的路径。选定后，教师的权重与循环路径在本轮蒸馏中保持固定。

其次，在学生自己的生成轨迹上进行蒸馏。学生仍然按照正常层顺序生成回答。面对同一个学生生成前缀，循环教师计算下一 token 的预测分布，学生通过反向 KL 散度方向的在线策略蒸馏学习教师的偏好。这样，教师的额外层计算被转化为作用在学生生成位置上的学习信号。

最后，教师的构造过程和学生的蒸馏过程可以交替进行。一轮蒸馏结束后，学生参数已经更新。LoOPSD 以这个新模型为起点，再次搜索有用的循环路径，并继续蒸馏。通过交替搜索与学习，模型可以在多轮训练中持续吸收来自自身不同执行路径的监督。

此外，LoOPSD 还可以与教师侧的额外信息或指令结合。除了通过层循环构造教师，LoOPSD 也允许教师接收学生不可见的额外信息或指令，并沿用相同的层搜索与在线蒸馏流程，用于扩展 LoOPSD 的教师构造空间。论文将这一扩展记为 LoOPSD†，探索层执行搜索与教师提示增强相结合的效果。

整个过程中，增加层执行次数的是用于提供监督的教师。最终得到的学生仍沿原始层顺序运行，每层只需执行一次。

实验结果：额外计算的优势，能被标准学生学到吗？

研究在 Qwen3、DeepSeek-R1-Distill-Llama 等模型上开展数学与逻辑推理实验，并与 Elastic Reasoning、CRISP 等方法进行比较。表 1 展示了限制 thinking 长度为 400 tokens 的情况下，循环教师蒸馏后学生在第一轮和最终轮的表现。

（表 1：部分数学与逻辑推理任务的准确率（%）。R1→Final 表示第一轮与最终学生，† 表示教师采用简洁推理指令；均为 400-token 思考预算。数据选自论文 Table 1）

从表 1 可以看到，LoOPSD 的收益覆盖数学与逻辑推理任务。Qwen3-1.7B 在 GSM8K 上由 42.30% 提升至 79.61%，而 LoOPSD† 的结果则展示了层循环与教师侧简洁推理指令结合的效果。

为了检验循环教师在多轮迭代中的作用，论文进一步观察多轮学习中的变化。

（图 2：LoOPSD 的迭代学习结果。左图比较教师与学生在六轮蒸馏中的表现；右图比较第一轮与最终学生在不同测试思考预算下的准确率。原论文 Figure 5；† 表示教师额外采用简洁推理指令）

图 2 左侧展示了 Qwen3-4B 在 GSM8K、128-token 思考预算下的结果。LoOPSD 学生从第一轮的 33.81% 提升至第六轮的 50.87%，进一步提高 17.06 个百分点，表明随着学生更新，重新搜索教师又能够在第一轮之后继续带来收益。而在相同的 1,200 次训练更新下，标准路径自蒸馏仅达到 26.38%，进一步体现了循环教师提供的监督优势。图 2 右侧还表明，迭代后的学生在不同测试思考预算下同样能够获得性能提升。

从额外计算中学习，让推理更准确、更简洁

LoOPSD 进一步观察蒸馏后的标准路径学生在 token 效率上的表现。图 3 将准确率与实际生成长度放在一起，展示了 Qwen3-4B 在 GSM8K 上的结果。

（图 3：Qwen3-4B 在 GSM8K 上的准确率与实际生成长度。左图展示准确率与总生成 token 数的关系，右图展示思考与答案阶段的生成长度。原论文 Figure 4）

在相同的 400-token 思考预算下，LoOPSD 将准确率从 74.98% 提升至 89.76%，同时将平均总生成长度从 385.04 缩短至 299.98 tokens。进一步为教师加入简洁推理指令的 LoOPSD†，还能够获得更高准确率和更短的生成长度。

从这一结果可以看到，层循环教师提供的监督不仅能够提升标准学生的答题准确率，也能帮助它以更简洁的生成过程完成推理。

结语

LoOPSD 为在线策略自蒸馏提供了一种新的教师构造思路：通过搜索模型自身的层执行路径获得更有用的教师预测，再将其蒸馏到标准执行的学生中。这一过程还可以随着学生参数更新而反复进行，让模型持续从自身的计算中获得新的学习信号。

实验表明，层循环带来的推理优势可以被标准路径学生学习，并通过多轮搜索与蒸馏进一步积累。LoOPSD 由此将模型内部的额外计算转化为一种可用于后训练的监督来源，扩展了自蒸馏教师的构造空间，为大语言模型的自蒸馏提供了新的方向。