最初看到 DASHDivergence-Adaptive Supervision Horizons这个缩写时我以为又是一套强调“模型自己教自己”的训练框架。等把词汇拆开——发散度自适应、监督范围、在线策略、推理模型——才发现它真正想处理的不是“教什么”而是“在什么时候、往后看多远”去教。这个角度比单纯放大自蒸馏信号要细得多也更容易在长链推理任务里暴露价值。推理模型的自蒸馏其实已经不算新鲜。用模型自己生成的高置信输出当训练数据再用结果反向优化自己看起来很优雅。但问题在于长程推理中间步骤很难评估模型很容易出现“最终答案正确、推理链条却早已偏移”的情况。DASH 想做的不是修改蒸馏公式而是给训练过程加一个动态调节阀根据模型当前输出和参考信号之间的发散程度决定这一轮应该用多远的监督信号。这个思路比“把监督范围设成固定值”要贴近真实训练动态得多。1. 从“自己教自己”开始DASH要解决的是什么问题1.1 自蒸馏模型拿自己的输出当训练数据先简单说一下自蒸馏。知识蒸馏大家比较熟悉用一个大的教师模型输出软标签去指导学生模型。自蒸馏更极端一点不依赖外部大模型直接让模型把自身输出当作学习目标。常用做法是先用模型生成一批候选答案再用规则、奖励模型或者人工标注筛选出“看起来正确”的样本把这些样本继续作为监督信号微调模型自己。这在数据匮乏、标注成本高的场景下很有吸引力。尤其对推理类任务想拿到大量带中间步骤的人类标注几乎不现实。模型已经能够生成有结构的推理链虽然并不是每一步都可靠但如果只筛选最终答案正确的样本整体上仍然能获得一定的训练收益。这也是很多自蒸馏方法能在 reasoning 任务上带来提升的原因。不过这种“自己教自己”的流程有一个隐含假设模型自身生成的高质量样本它的内部推理步骤也足够值得学习。这个假设在短任务上问题不大但在多步推理中相当脆弱。1.2 推理模型让“自蒸馏”变得不再温和推理模型的任务特点是生成一条完整的思维链然后得出答案。模型在某个中间步骤一旦偏离标准路径后边所有步骤都可能变成“尽力补偿”的结果。补偿得好最后答案还是对的补偿得不好就彻底跑偏。如果自蒸馏只按最终答案是否正确来给监督信号模型其实学不到“我在第几步开始偏了”。它只会看到一整条轨迹被判别为“可用”或者“不可用”中间的错误被掩盖掉了。这带来的后果是训练过程中误差不断积累发散度越来越高模型看似在变强实际上只是学会了用更长、更绕的推理去适应自己的早期错误。DASH 这个方向看起来就是想减少“被掩盖的错误”。它把监督信号从“整条轨迹都在学”改成“在发散度较低的区域多学在发散度较高的区域只学可靠的一小段”从而让模型更少被自己产出的噪声长时间带偏。2. 看懂标题里的三个关键概念2.1 监督范围往未来看多少步标题里的 Supervision Horizons 指的不是训练总步数也不是上下文长度而是监督信号在时序上覆盖的范围。比如模型生成了一个 20 步的推理链训练时你对第 5 步的监督信号可以只覆盖到第 6 步也可以一直覆盖到第 20 步的最终答案。这个“覆盖到多远”就是 horizon。不同的选择对应不同的学习信号。如果 horizon 很短模型只需要学会“下一步该怎么做”学习目标更局部、更稳定但缺乏对长程目标的感知。如果 horizon 很长模型能学会“我这一小段决策会影响到最终答案”但噪声和归因难度也更高。DASH 用到了 horizon 这个术语说明它关注的核心是训练时的信用分配范围。不是“如何把最终答案回传”而是“什么时候应该回传得远一点什么时候应该只监督最近几步”。2.2 发散度模型输出开始偏离参考信号的程度Divergence 是另一个关键变量。在序列模型中它可以被理解为模型当前输出分布与某个参考分布之间的距离。参考分布可以是初始模型、人类偏好模型、奖励模型打分对应的理想分布甚至可以是模型自己在更早训练阶段产出的分布。发散度低说明模型输出的概率分布和参考信号比较一致此时模型大概率走在“安全区域”。发散度高说明模型已经开始偏离可监督参考后续输出不确定性上升。DASH 的“Adaptive”就是指根据这个发散度实时调整监督范围。这里要小心一个误区发散度不等于错误率。模型完全可能发散到一条更新、更优的推理路径上这种探索是有价值的。如果一看到高发散就立刻收紧监督范围反而会抑制模型发现新路径。所以自适应机制怎么判断“该收紧还是该给空间”是整个方法的难点。2.3 On-Policy当前策略的“第一手数据”On-Policy 在强化学习里是一个重要概念。简单说用来更新策略的数据必须是由当前策略刚刚采样出来的。这就保证了数据分布和当前模型状态一致。DASH 强调自己在做 On-Policy Self-Distillation意味着它并不是收集一批固定数据后离线训练而是在模型持续生成的过程中不断评估发散度、调整监督范围再更新模型。这带来一个工程角度的改变每一轮生成都必须带有足够的元信息比如每个 token 的概率、每个位置的参考分布、对应的发散度。否则你无法知道当前该用多长的 horizon。3. 为什么固定监督范围不够用3.1 长程推理中的错误传播固定监督范围的问题在长程推理里会变得特别明显。假设你用一个较大的 horizon把从当前步到最终答案的所有信号都纳入训练。那么在中间几步出现小偏差时最终答案可能仍然正确模型就会收到“即便走偏了也没关系”的错误反馈。它不会去修正偏差反而会强化那些能补偿偏差的后缀路径。反过来如果你用一个较小的 horizon只监督接下来一两步模型又容易陷入局部正确。每步都看起来合理但整体推理方向早就偏了。这也是为什么很多方法在复杂推理任务上效果不稳定——固定的监督范围很难同时满足局部稳定和全局一致。监督范围优点风险较短 horizon信号噪声低训练稳定丧失长期目标容易局部最优较长 horizon能反映最终目标credit assignment 更全局中间错误被最终结果掩盖噪声大动态 horizon根据发散度切换可能兼顾两者实现复杂发散度指标本身有噪声3.2 发散度变化不是线性的很多人会默认模型在推理时前几步相对确定越到后边越不确定。实际生成过程往往不是这样。一句话里某个关键转折点可能让发散度瞬间上升而随后的词又回到高度确定的状态。发散度曲线更像随机波动不是单调递增或单调递减。这意味着无论你选择固定长 horizon 还是固定短 horizon都可能在某些位置“用错力度”。在发散度很低的位置使用短 horizon浪费了本来可以传播得更远的清晰信号在发散度很高的位置使用长 horizon又把噪声传导到后续学习里。DASH 的自适应能力本质上是在对齐“哪些位置该看得远哪些位置该看得近”。3.3 自适应监督范围的直观好处用开车来类比可能更清楚。在高速公路上路面条件稳定你能很清楚地判断前方几百米的路况所以视野可以放得很远。一旦进入浓雾或施工路段你看不清前边还硬盯着远处反而容易出事。这时候正确做法是降低速度、把注意力放到眼前一小段路。自蒸馏中的发散度就有点像“路面可见度”。当模型输出和参考信号高度一致说明前方的推理路径足够可信监督范围可以放宽当发散度突然升高说明“前方看不清楚”此时与其让整个长序列的错误信号一起回传不如先把监督范围缩短到可控区域等模型把当下这步走稳再慢慢把视野放出去。这个直觉不复杂但落到训练系统里需要实时计算发散度、设计调整规则、还要保证损失函数平滑这就是 DASH 真正复杂的部分。4. DASH可能的实现思路从概念到实验设计4.1 最小可执行流程虽然原始材料没有给出实现细节但从标题和技术框架看一个合理的抽象实现可以按下面的步骤组织。这里更接近一个通用思路不是原论文的官方代码。# 伪代码仅表达思路 for batch in dataloader: # 输入问题当前策略模型生成推理轨迹记录每步的 token 概率 outputs, token_log_probs, hidden_states policy_model.generate_with_logprobs(batch[question]) # 对每个解码位置计算模型输出分布与参考分布的 divergence # divergence 可以是 KL 散度、输出概率差值等 divergence compute_divergence(outputs, reference_distribution) # 根据 divergence 确定每个位置的监督范围 horizon adapt_horizon(divergence, base_horizon8, min_horizon1, max_horizonlen(outputs)) # 用可变 horizon 计算蒸馏损失 # 每个位置只监督未来 horizon 步内的输出分布避免长距离错误信号传播 loss compute_adaptive_distillation_loss(outputs, log_probs, horizon) loss.backward() optimizer.step()实际落地时compute_divergence和adapt_horizon是最敏感的两个环节。前者决定你能否准确判断“模型走到哪里开始不可信”后者决定“什么时候收紧监督范围”不会误伤有效探索。我建议先不要直接在业务数据上跑可以用一个小型生成任务验证流程让模型生成 50 条推理链手动观察发散度曲线的形状再手写规则调整 horizon确认训练 loss 能稳定下降再考虑扩展成完整实验。4.2 发散度指标怎么选发散度指标直接决定自适应的质量。常见选择有指标计算方式特点KL 散度参考分布与当前输出分布的 KL 距离对概率分布整体差异敏感但容易受 token 概率噪声干扰Token 概率变化当前模型输出概率与参考模型输出概率的差值简单直接解释性好但可能忽略分布整体形状语义嵌入距离当前生成文本与参考推理路径的 embedding 相似度对 token 级噪音更鲁棒但计算开销大Reward 波动奖励模型对几个临近候选打分的方差贴合最终目标但 reward 本身可能带偏实际训练里没有一个指标是万能的。我一般会先观察指标和“人工判断的错误位置”是否对齐。如果发散度剧烈波动但模型下一句明显还在正确逻辑上说明指标选择或归一化方式需要调整。注意不要因为发散度指标好用就把它当成正确性的替代品。发散度只能告诉你“模型偏离参考信号有多远”不能告诉你“偏离的方向是好是坏”。4.3 实验结果该看什么如果只是看最终准确率DASH 这类方法的价值会被低估。准确率只能说明模型最终对不对不能解释训练过程是否有改善。我建议至少记录四组指标训练 loss 的平滑度。固定监督范围时loss 曲线经常会出现周期性尖峰。动态 horizon 如果有效尖峰频率应该下降。发散度的分布变化。理想状态下训练后期模型大部分位置的发散度都应该比训练前低且高发散区域更集中。horizon 的切换频率。如果 horizon 几乎不切换说明自适应机制没有真正激活模型还是退化成固定范围。中间步骤的错误修复率。可以抽一批生成轨迹人工判断早期错误出现后模型是否在后续步骤中修正。这个指标比最终准确率更能看出监督质量。表格对比建议做成这样观测维度固定长监督范围固定短监督范围DASH 风格动态范围训练 loss 稳定性中高高中间错误修正能力弱中强长程目标敏感度强弱中到强超参数敏感度低低高这里最后一行提到的超参数敏感度是动态方法必须接受的代价。4.4 落地时的常见坑从工程经验看这类方法最容易出问题的地方有三块。第一发散度计算有数值稳定问题。特别是 KL 散度当参考分布某些 token 概率接近 0 时浮点计算容易出现 NaN。需要做 log 加保护或者直接用近似版本。不要等训练崩了再回头查。第二horizon 调节频率过高会破坏训练的连续性。如果每个 token 的 horizon 都在剧烈跳动相当于模型每走一步就换一个学习目标梯度方向会很乱。更稳妥的做法是平滑发散度在连续多个位置都超过阈值后再切换或者使用滑动平均的 horizon。第三不要在一个固定验证集上调太多自适应参数。阈值、窗口大小、发散度指标、蒸馏温度这些组合起来很容易过拟合。要把一部分数据留着做分布外测试。如果自适应训练效果不明显可以按这个顺序排查先看发散度曲线是否和任务难度相关。如果前置问题很难但发散度始终很低说明指标没有捕捉到真实复杂度。再看 horizon 的分布是否合理。是否存在大量位置都切到最小范围如果是说明阈值设得太激进。再看 loss 在 horizon 切换位置有没有突然跳变。如果有需要在损失函数中对 horizon 做插值平滑。最后检查生成日志和参考分布是否同步更新。on-policy 方法里最常见的 bug 是“模型已经更新参考分布还是上一轮的”。5. 这套思路真正改变的是训练范式而不是超参数5.1 从“先收集数据再训练”到“边决策边学习”传统自蒸馏流程通常是先生成一批候选数据离线筛选后做监督微调。DASH 风格的方法要求你在训练过程中实时评估生成质量并且实时调整监督信号范围。这意味着模型生成模块、发散度计算模块、蒸馏损失模块必须紧密耦合在一起。这个改变不是工程层面的小修小补而是训练范式的变化。它把“监督范围”从一个静态超参变成了一个动态决策变量。模型在哪一步值得被深入监督、在哪一步只适合轻轻带过都由训练过程自己决定。这其实更接近强化学习里动作选择的逻辑。从长期看这种范式能降低人工设置超参数的负担但它同时要求研究者对生成模型的置信度、分布变化有更深理解。否则你会发现自己不是在训练模型而是在不停调试发散度阈值。5.2 对研究者、算法工程师和普通开发者的不同意义对研究者来说DASH 提供了一个值得深挖的问题如何更合理地度量“推理过程的可监督性”。发散度只是一个底层信号真正有价值的是能不能在此基础上设计出更稳定的自适应策略。对算法工程师来说DASH 提醒你关注训练中“信号质量问题”。在 on-policy 自蒸馏里数据并不是越多越好监督信号的覆盖面如果包含太多高发散区域反而会污染模型。对普通开发者来说如果只是微调开源模型做垂直领域推理不一定需要立刻实现 DASH。但可以借鉴它的思想在训练逻辑中增加“基于训练动态调整样本权重”的模块而不是拿着一整批数据盲调 hyperparameter。这里的思路是通用的。5.3 未来可能演化的方向从标题延伸开去看DASH 这类方法未来有几个可能的演化方向。一个是把发散度测量做成可学习模块而不是简单依赖 KL 散度另一个是让监督范围在不同层级之间切换比如语言模型层和思维链层分别设置 horizon还有一个是和 ReAct 这类“推理行动”框架结合在 agent 执行任务时动态决定“该观测多远的未来状态”。这里要特别说明一下ReAct 强调模型与环境交互在推理和行动之间交替决策DASH 关心的是训练时监督信号覆盖多远。两者一个是运行时框架一个是训练时策略并不冲突。可以把 DASH 理解成“教模型如何在 feedback 中自我修正”把 ReAct 理解成“模型运行时如何与环境交互”。6. 使用DASH前要想清楚的边界6.1 自适应机制不会凭空解决所有发散问题发散去低不代表推理正确。模型可能因为训练数据本身有偏导致它在错误的路径上依然保持高置信度。这种情况下自适应机制会认为“模型很稳定”进而把监督范围放得很长反而让系统性错误继续传播。DASH 只能解决“发散度高带来的监督噪声”问题不能解决“发散度低但语义错误”的问题。所以在使用 DASH 前要先确认你的场景里有足够的参考信号来判断发散度方向。如果参考分布本身质量不高那么多漂亮的动态调节都只是把错误重新分配。6.2 计算开销与实现复杂度实时计算发散度需要存储参考分布和当前输出分布这对显存和推理速度都有额外消耗。如果模型参数量很大还要在每个生成步同时跑参考分布成本会激增。我更建议的做法是先在中小规模模型或短推理链任务上做验证确认自适应机制能带来明显收益后再考虑把计算扩展到更大模型。如果你当前的任务在固定监督范围下已经有不错效果没必要为了用 DASH 而用 DASH。6.3 哪些场景更适合先尝试从问题类型看长链推理、数学题求解、代码生成这类需要多步决策的任务更适合 DASH。因为这些任务里中间步骤错误和最终答案正确之间的关系更复杂固定监督范围最容易出问题。也适合已经有奖励模型能对中间步骤提供相对可靠信号的任务。不太适合的场景包括输入输出长度非常短的任务、模型生成质量已经接近上限的任务、或者你在训练流程里无法稳定获得参考分布的任务。以及如果你没有足够实验预算直接上这种动态机制可能比固定超参还不稳定。实验预算有限时可以先做一个简化版验证固定一个中等 horizon但按照发散度对训练样本做加权让高发散样本的 loss 权重降低。这个方法虽然不如 DASH 精细但实现简单能快速试探“通过支配发散去控制监督力度”是否有用。6.4 复现实验时的几点建议复现 DASH 风格方法不要一上来追求完全复现所有细节。建议先做“固定 base_horizon divergence 加权”的消融再做“动态 horizon 调整”。这两个结果会告诉你收益到底来自“动态范围”本身还是仅仅来自“对高发散样本降权”。很多情况下后者的收益就已经很大动态范围的增量反而有限。另一个容易被忽略的点是参考分布的选择。你可以用模型早期保存的 checkpoint 作为参考分布也可以用一个更强的教师模型。这两者的影响非常大。用早期 checkpoint 更贴近 on-policy但参考分布和当前分布差距越来越大后发散度会普遍偏高用固定教师模型更稳定但容易把模型往教师偏好上拉得太死。最后一定要把随机种子、发散度计算方式、horizon 上下限全部记录下来。这类方法的敏感性比普通蒸馏高得多没有完整配置说明实验等于不可复现。对我来说DASH 的价值不在于“又提出了一种自蒸馏变体”而在于把一个经常被当作常数处理的变量——监督范围——重新放回训练决策里。它背后想表达的判断很朴素在模型自己教自己的时候真正需要控制的不是总训练量而是在每一个发散时刻你愿不愿意相信模型能靠自己走完剩下的路。愿意相信远一点还是收紧到眼前几步这就是监督范围的意义。要不要用 DASH取决于你是否已经受够了固定监督范围带来的失控感。