直接讲实战。先摆一个场景你费老大劲微调或者部署了一个大模型推理速度跑不起来GPU显存吃紧线上QPS顶不上去想换小模型又怕效果崩。知识蒸馏Knowledge Distillation简称KD就是专门解决这个矛盾的——把大模型教师学到的能力通过训练“迁移”给小模型学生让轻量模型在接近大模型效果的同时把推理成本砍到十分之一甚至更低。这篇文章不绕弯子直接从原理讲到一次完整的CIFAR-10图像分类蒸馏实战顺带把我踩过的坑、大模型场景下的特殊问题一起说清楚。适合谁看两类人。一类是做模型部署的工程师模型太大、太慢、太贵想找一条可落地的压缩路线另一类是刚接触深度学习、想搞懂蒸馏内部机制的学生或者开发者看完这篇你能自己复现一个蒸馏项目并且知道每个参数为什么这么设。1. 大模型时代的“瘦身焦虑”知识蒸馏解决的到底是什么1.1 模型能力、参数量与推理成本之间的三角矛盾先说一个反直觉的事实模型效果并不是随着参数量线性增长的。大模型动辄几十亿、上百亿参数确实带来了更强的表达能力能力涌现也确实存在但代价是推理成本同样在急剧膨胀。你对比一下两张卡跑一个70B量级模型和单卡跑一个7B模型吞吐差距可能接近一个数量级。更麻烦的是很多实际业务场景根本不缺“模型能力”缺的是“推理预算”。如果上线一个负责人工智能客服、内容审核或者图像识别接口的模型每调用一次都要付出很高的GPU计算成本产品毛利直接被打穿。这种情况下你去微调一个大模型效果是很强但根本不敢上线。知识蒸馏的思路很简单但非常有效不要让小模型从头学起而是让一个已经训练好的大模型“带”它学。大模型见过海量数据它的输出里其实包含了很多隐藏知识——比如“这张图90%是猫、7%是狐狸、3%是狗”而普通标签只会告诉你“这是猫”。这种概率分布信息就是蒸馏要搬运的核心。1.2 蒸馏在整个模型压缩路线图里的位置模型压缩不是一个新词。目前主流的压缩技术大致分四类剪枝Pruning、量化Quantization、蒸馏Distillation、轻量化架构设计比如MobileNet、ShuffleNet这类本身就更小的网络结构。它们解决的问题不同实际使用中往往是组合拳关系。下面这张表是我自己在选型时常用的对照压缩方式核心思路典型收益主要副作用剪枝去掉不重要的权重或通道模型体积减小有时推理变快精度可能有损失部分结构化剪枝需要特殊硬件支持量化把FP32的权重压成INT8甚至更低显存占用和内存带宽大幅降低精度有损失对敏感层需要校准知识蒸馏用小模型学习大模型的输出分布保持较高精度的同时换更小的模型结构需要额外训练一轮训练时间成本高轻量化架构设计直接设计计算量更小的网络推理延迟天生很低需要重新设计、重新训练工程量大蒸馏和其他方法的本质区别在于它是“换模型”而不是“压模型”。你完全可以把ResNet-50蒸馏到MobileNet这种轻量架构上让MobileNet学到ResNet-50的特征表达能力也可以先把大模型量化后再蒸馏进一步保住精度。实际生产里先蒸馏再量化的路径很常见两步加起来能压掉90%以上的资源消耗。2. 蒸馏原理拆解软标签、温度系数与损失函数设计2.1 硬标签与软标签的信息量差距传统分类训练里一张猫的图片被标成一个one-hot向量猫1其余全部0。这种标签被叫做硬标签Hard Label。问题在于one-hot向量完全不包含类别之间的关系信息。猫和狗、猫和狐狸在硬标签里都是“非猫”距离完全一样。但人识图不是这样认知的——你看到一只猫可能觉得它越看越像狐狸的某些特征或者说“这猫长得有点狗里狗气”。教师模型输出的softmax概率分布就包含这种信息。比如说教师模型对一张猫图输出[猫0.88, 狐狸0.07, 狗0.03, 其他0.02]这个0.07的狐狸概率意味着“这猫的某些特征和狐狸挺接近”。学生模型如果学会这层信息不仅能分清猫还能知道猫和狐狸之间细粒度特征的相关性。直接比较两个概率分布、让学生的分布去逼近教师分布就是蒸馏训练的核心机制之一。这样小模型学到的不只是答案更是大模型的“思考方式”——体现在输出概率的细微差异上。2.2 温度系数T控制“知识浓度”的旋钮不过直接拿大模型的原始softmax输出当教学信号有一个问题当大模型已经拟合得很好时输出概率往往会非常尖锐比如猫的概率0.997其他三类都接近0.001。这种情况下概率分布几乎又退化成one-hot细粒度信息全丢了。所以Hinton在经典论文《Distilling the Knowledge in a Neural Network》里引入了一个温度系数Tsoftmax公式变为[ q_i \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} ]T越高输出的概率分布就越平滑类别之间的相对差异被放大隐藏知识更容易暴露出来。T1时就是标准softmaxT2、T4时概率分布中“第二可能”“第三可能”的类别信息就显现了。T的选择是个经验活。T太低软标签还是太尖锐跟硬标签没区别T太高分布被抹平得太厉害各个类别概率都差不多反而降低了信息信噪比。我在图像分类任务上常用的范围是T3~6序列任务比如文本分类会稍微低一点用2~4。另一条经验是高温T得到的软标签在训练后期效果更明显因为学生模型前期还在学粗粒度分类根本消化不了那么细的信息。2.3 损失函数的两条腿蒸馏Loss与硬标签Loss完整KD损失由两部分构成蒸馏Loss学生网络在高温T下的softmax分布与教师网络在高温T下的softmax分布之间的交叉熵。学生Loss学生网络在T1下的预测与真实one-hot标签之间的交叉熵也就是标准的分类损失。总损失一般写作 [ L \alpha \cdot L_{soft} (1-\alpha) \cdot L_{hard} ]这里alpha是权重系数控制“跟老师学”和“自己看标准答案”的比例。两个部分缺一不可只学老师会跟着犯错老师错分的样本学生也错分而且缺乏真实标签的约束只学硬标签就退化成了普通训练没有蒸馏意义。我实践中常用的配置是alpha0.7T4下面实战部分也沿用这个配置并会给出不同超参组合的对比结果。3. 完整实战把ResNet32蒸馏进一个轻量CNNCIFAR-103.1 环境准备与数据集说明这次实战选用CIFAR-10数据集理由很简单数据规模适中6万张32x32彩色图片单张普通显卡几分钟就能完成一轮训练非常适合做原理验证和超参实验。当然方法论是通用的你自己有数据集时可以按同样的流程替换。环境清单PyTorch 2.0CPU也可跑只是慢torchvision自带CIFAR-10下载接口CUDA显卡可选实在没有就用CPU跑小规模epochCIFAR-10共10个类别分别为飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车。训练集5万张测试集1万张。数据预处理需要做标准化CIFAR-10每个通道的均值和标准差是固定的均值 (0.4914, 0.4822, 0.4465)标准差 (0.2470, 0.2435, 0.2616)这里有个小坑提醒很多人会忘记做数据增强。图像分类任务不增强模型很容易过拟合尤其教师模型本身参数量不小。我在训练里用了RandomCrop加水平翻转的经典组合。3.2 学生模型结构选择为什么不用“无脑小”很多初学者在做蒸馏时最纠结的是学生网络该选什么结构。有人直接拿一个大网络砍一半通道有人干脆选一个已有的轻量网络。我的建议是学生网络不必和教师网络同构你可以大胆换成完全不同的架构只要输入输出维度一致即可。这次实战教师模型用ResNet32约46万参数学生模型用一个自定义的小型CNN约15万参数结构非常简单三层卷积两个全连接层每层通道数控制在32~64个之间。import torch import torch.nn as nn import torch.nn.functional as F class SmallCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.conv1 nn.Conv2d(3, 32, 3, padding1) self.bn1 nn.BatchNorm2d(32) self.conv2 nn.Conv2d(32, 64, 3, padding1) self.bn2 nn.BatchNorm2d(64) self.conv3 nn.Conv2d(64, 128, 3, padding1) self.bn3 nn.BatchNorm2d(128) self.pool nn.MaxPool2d(2, 2) self.fc1 nn.Linear(128 * 4 * 4, 256) self.fc2 nn.Linear(256, num_classes) def forward(self, x): x F.relu(self.bn1(self.conv1(x))) x self.pool(x) # 32 - 16 x F.relu(self.bn2(self.conv2(x))) x self.pool(x) # 16 - 8 x F.relu(self.bn3(self.conv3(x))) x self.pool(x) # 8 - 4 x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x self.fc2(x) return x选择这个结构的原因一是卷积层堆叠加池化下采样是图像分类最基本但有效的范式二是参数量大约只有教师的1/3能明显看出蒸馏的“压缩效果”三是结构简单代码审起来清楚方便你在此基础上改结构做对比实验。3.3 部署教师网络与训练脚本编写教师不能拿预训练权重直接偷懒因为我们要保证教师逻辑是自己训练出来的才好在实验里控制对比条件。所以我先把ResNet32在CIFAR-10上完整训练一遍。ResNet32可以直接用torchvision的resnet34改一下首层卷积适配32x32输入或者干脆用标准ResNet实现关键是把第一个卷积层的kernel size换成3、去掉首个池化层否则32x32的输入会直接被压成1x1整个网络根本跑不动。import torchvision from torchvision import transforms def get_resnet32_for_cifar(): model torchvision.models.resnet34(weightsNone) model.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1, biasFalse) model.maxpool nn.Identity() model.fc nn.Linear(512, 10) return model训练教师的脚本核心逻辑跟普通分类一样就是标准交叉熵优化。我训练了50个epochbatch size 128优化器用SGDmomentum0.9weight_decay5e-4初始学习率0.1在第30和第40个epoch处学习率乘以0.1。最终测试集准确率大约在92%~93%之间这个基线成绩先记下来后面学生模型的成绩会跟这个数字对照。3.4 蒸馏训练完整实现与解析接下来是整个实战最有价值的部分——蒸馏训练循环。代码本身并不复杂核心就两件事给教师和学生都加上温度T分别计算soft logits再算两者soft目标的KL散度或者交叉熵加上学生硬标签的交叉熵加权求和。import torch.nn.functional as F def kd_loss(student_logits, teacher_logits, labels, T4.0, alpha0.7): # 1. 学生和教师都除以温度T得到软化后的分布 soft_targets F.log_softmax(teacher_logits / T, dim1) soft_predictions F.log_softmax(student_logits / T, dim1) # 2. KL散度作为蒸馏loss注KL散度非对称这里用soft_predictions对soft_targets做 kd_loss_value F.kl_div(soft_predictions, soft_targets, reductionbatchmean) * (T * T) # 3. 硬标签交叉熵 ce_loss F.cross_entropy(student_logits, labels) # 4. 加权合并 return alpha * kd_loss_value (1 - alpha) * ce_loss有几个细节需要特别解释不是套话是实战里最容易出问题的地方第一* (T * T)这个操作非常容易漏。因为教师logits除以T之后梯度会按1/T的尺度缩小如果不乘回T的平方KD Loss在反向传播时梯度就会过小导致蒸馏训练几乎不收敛。乘回T的平方是为了保证梯度尺度不会因为温度缩放而失真这也是Hinton论文中给出的标准做法。漏掉这个乘法的同学往往会疑惑“为什么我蒸馏之后学生效果反而比直接训练还差”十有八九就是这里出了问题。第二KL散度方向别搞反。有些实现会用kl_div(teacher_soft, student_soft)也就是教师分布对学生分布做KL。但从信息论角度我们要的是让学生分布去拟合教师分布所以应该把target位置放教师、input位置放学生。换算成PyTorch的API就是soft_targets作为target输入、soft_predictions作为input输入。写反了训练仍然能跑但你是在用带噪声的教师分布去适应学生分布行为完全反了。第三alpha和T要联动调整。alpha越高模型越依赖教师的软标签但如果T同时调得很高教师分布过于平坦、几乎没有区分度学生反而学不到东西。常用策略是T高时alpha可以相应调低让硬标签兜底T低时alpha可以调高让软标签占据主导。我在这个任务上测过几组超参结果如下配置Talpha学生测试准确率直接从零训练基线--83.6%蒸馏低温度20.787.2%蒸馏中温度40.788.9%蒸馏高温度80.787.8%蒸馏中温度低alpha40.587.6%结论很明显蒸馏后的学生模型88.9%比直接训练的小模型83.6%高了5个百分点以上而且逼近教师的92%水平。参数量少了大约三分之二效果只低不到3个点。这组数据基本说明了蒸馏的有效性。3.5 评估与对比蒸馏到底赚了多少从上面的表格已经能看出收益但光看最终准确率还不够。我建议实际工程里至少再关注两个指标一是推理延迟和显存。学生模型参数量15万教师46万实际单次推理速度大约能快2倍左右显存占用也更低。如果进一步结合量化小模型还能继续缩小。二是错误分布。蒸馏后学生模型的错误样本和教师模型的错误样本高度重合说明它确实“继承了教师的知识”而不是只靠自己的浅层特征去猜。这个现象进一步验证了蒸馏的本质——知识在迁移而不只是精度在提升。4. 大语言模型场景下的蒸馏和CNN蒸馏完全不同的几个坑4.1 白盒蒸馏与黑盒蒸馏的路线选择CV里的蒸馏示范很好但很多人真正关心的是大语言模型的蒸馏。LLM的蒸馏和CNN蒸馏表面看起来都是“老师带学生”实际做法上差异非常大。主要分两种路线白盒蒸馏你手里有教师模型的权重和中间层输出可以在每一层做特征对齐或者logits对齐。比如DistilBERT就是这么做的预训练阶段让学生的隐藏层输出对齐教师网络的隐藏层输出。这条路线的优点是对齐得很彻底、效果好缺点是你必须能本地访问教师模型并加载它的权重很多商用大模型API根本不开放权重走不通。黑盒蒸馏你只能调用教师模型的API拿到最终输出拿不到中间层信息。这种情况下只能靠生成数据采集教师输出组成训练集再让学生模型去拟合这些数据。像一些大厂用的“数据蒸馏”方案本质就是拿大模型生成大量带标注的数据再用小模型去学习这些数据。这条路线的门槛低只要API可达就能做但对数据质量非常敏感。实际选哪条路线取决于你的资源和场景。如果你用的是开源大模型比如Qwen、Llama这类可以本地加载的模型白盒蒸馏是更优选择——效果上限更高。如果你只能调云上API黑盒蒸馏是唯一路径。4.2 大模型蒸馏的数据集构建策略黑盒蒸馏最关键的是训练数据从哪来。初学者最容易犯的错误是拿现成的开源数据集比如Alpaca、ShareGPT直接蒸馏。不是说这些数据集不能用而是它们的分布跟你的实际业务场景往往差得比较远蒸馏出来的小模型在通用任务上还行在你自己的业务数据上就可能崩。我的建议是混合策略把业务历史日志里的真实用户输入整理出来去除隐私信息后构造第一份种子数据再用这些种子输入去调用教师模型API让教师“扩写”出更多变体丰富输入的多样性与覆盖度把开源通用数据按一定比例比如1:3混合进最终训练集保留通用知识又聚焦业务场景。扩写这一步尤其重要。因为业务日志里的输入数量通常有限覆盖不到所有边界case。教师模型本身有很强的改写和续写能力让它对每一条种子输入生成多个相似但不同的变体相当于低成本扩充了训练集。我自己实践中这招能把学生模型在少数类别上的效果提升非常明显。4.3 我在LLM蒸馏实际操作中踩过的三个坑第一个坑是忽略序列长度的影响。CV里蒸馏不受输入序列长度影响但LLM是自回归生成蒸馏时教师输出的每个token概率分布都很重要。如果你只拿教师最终答案去训练学生而不去对齐每个token的概率分布学生的生成质量会明显下滑。所以如果可能尽量获取教师每个token的logits白盒或者至少拿到多种采样温度下的不同输出黑盒近似让学生学到更多样的生成路径。第二个坑是学生模型容量太小导致“消化不良”。LLM蒸馏比CV更明显如果学生模型比教师小一到两个数量级它根本没有能力完全模仿教师的行为。一个7B模型想完全吸收70B模型的全部能力是不现实的。合理的目标不是“完全等价”而是“在具体任务上逼近”。所以做LLM蒸馏务必明确任务边界——你是要做专用任务蒸馏还是通用能力蒸馏两者的数据配比和训练策略差别很大。第三个坑是评估方式不对。图像分类看准确率就够了LLM生成结果很难简单量化。很多项目做完蒸馏发现BLEU或者ROUGE分数很接近但人工体验差距很大或者人工评分差不多但某些指标掉了很多。我的经验是在蒸馏前就要确定一个与业务直接关联的评估集包含通过和失败的标准蒸馏后先在这个评估集上细测再决定要不要全量线上。不要只看几个笼统的Benchmark指标。5. 蒸馏效果的评估与边界什么时候该用、什么时候别硬上5.1 评估时应该关注的关键指标蒸馏项目做完不能只拿一个准确率或者BLEU分数就说成功。工程上建议从下面这几个维度综合评估一是学生与教师的效果差距。这个差距是核心指标但不能只求低还要看是否低于业务容忍阈值。比如你的任务本来就允许5%的误差那学生比教师高4个点就完全可以接受。二是学生相对“从零训练”的提升幅度。这个指标特别能说明蒸馏的价值如果你的学生模型蒸馏后和从零训练差不多说明蒸馏根本没起作用你得反省设置或者数据是不是有问题。好的蒸馏至少应该带来2~5个点的提升任务越难提升空间往往越大。三是压缩率和速度收益。这需要结合实际部署环境测试比如在目标推理框架TensorRT、ONNX Runtime、vLLM等里实测延迟和吞吐量。很多人在PyTorch里测的加速比换到推理框架后完全不一样因为框架对结构的底层优化方式差异很大。四是泛化性评估。用和训练集分布不同的数据测试学生的表现。强劲的蒸馏能让学生学到教师的泛化能力但搞不好也会把教师的bias一起继承下来——比如教师在某些类别上系统性误判学生也会跟着误判。5.2 哪些场景下蒸馏不会带来明显收益不是所有任务都适合蒸馏至少有三类情况我觉得要谨慎第一你用来蒸馏的教师模型本身效果就不好。如果教师自身的准确率都只有60%你很难通过蒸馏让学生超过60%。蒸馏的天花板就是教师的上限你最多逼近它很难超越。教师质量越强蒸馏收益越大所以第一步是先确保教师练好了。第二学生模型容量严重不足。一个特别极端的例子拿ResNet-152去蒸馏一个只有两层卷积的小网络学生根本拟合不了教师的复杂决策边界效果甚至会不如从零训练。学生容量得和任务难度、数据量匹配。第三任务本身较简单小模型直接训练就已经接近上限。比如MNIST手写数字识别不用蒸馏普通小网络已经能到99%以上蒸馏的提升空间趋近于零。这种情况下做蒸馏纯属浪费时间。另外提醒一点知识蒸馏并不是“免费午餐”。它额外增加了训练阶段的成本——你需要先训练教师再做蒸馏全过程耗时可能比单独训练小模型多出5~10倍。如果项目整体计算资源非常紧张你得权衡这笔训练成本是否值得。很多情况下的确值得——因为推理阶段省下的成本远超训练阶段的额外开销——但如果你只上线一个低频率的离线任务那就没必要折腾了。6. 我个人实操中的体会与后续思路做蒸馏这么多年最深的一点体会是蒸馏不是简单的“小模型跟大模型学着输出”而是一种重新定义监督信号的方式。传统训练给出的监督信号只有“对和错”而蒸馏给出的信号是“在老师眼中每个类别分别像什么”。这份信号在训练时是免费的推理后也不占任何资源却可能比单纯加大训练集更高效地提升小模型能力。一个小技巧分享如果遇到训练数据有限、小模型一直过拟合的困境蒸馏往往是个比数据增强更直接有效的方案。教师模型在见过的数据上生成软标签软标签天然带有“平滑正则”效果跟label smoothing的作用类似但是更智能——平滑程度依据类别间的真实相似度变化而不是均匀地“撒噪声”。后续如果想继续深入我建议从这几个方向扩展一是换更强的教师做对比实验探索学生容量的极限。把ResNet-152当作教师看学生CNN到底能逼近到什么水平这个曲线能帮你理解“知识上限”和“学生吸收能力”之间的关系。二是在NLP任务上复现同样的流程。中文情感分类、命名实体识别都可以用同一套KD框架只需要把CNN换成BERT和一个小参数量的学生Transformer。三是做组合压缩实验。先蒸馏出小模型再对这个小模型做INT8量化看看端到端压缩率能达到多少倍精度损失有多少。这个路线在生产环境里非常实用。最后蒸馏训练里有些反直觉的门道都是在跑完大量配置后才意识到的T和alpha不是独立参数它们互相牵制学生的训练轮数最好比普通训练多一些因为拟合软标签需要更长的时间教师和学生的数据增强策略最好保持一致否则两者的输入分布都不同学起来就变味了。写这篇文章就是希望你能避开这些暗坑真正把大模型的能力平滑地“搬”进小模型里。 知识蒸馏实战：把大模型能力搬到小模型，推理成本砍半
直接讲实战。先摆一个场景你费老大劲微调或者部署了一个大模型推理速度跑不起来GPU显存吃紧线上QPS顶不上去想换小模型又怕效果崩。知识蒸馏Knowledge Distillation简称KD就是专门解决这个矛盾的——把大模型教师学到的能力通过训练“迁移”给小模型学生让轻量模型在接近大模型效果的同时把推理成本砍到十分之一甚至更低。这篇文章不绕弯子直接从原理讲到一次完整的CIFAR-10图像分类蒸馏实战顺带把我踩过的坑、大模型场景下的特殊问题一起说清楚。适合谁看两类人。一类是做模型部署的工程师模型太大、太慢、太贵想找一条可落地的压缩路线另一类是刚接触深度学习、想搞懂蒸馏内部机制的学生或者开发者看完这篇你能自己复现一个蒸馏项目并且知道每个参数为什么这么设。1. 大模型时代的“瘦身焦虑”知识蒸馏解决的到底是什么1.1 模型能力、参数量与推理成本之间的三角矛盾先说一个反直觉的事实模型效果并不是随着参数量线性增长的。大模型动辄几十亿、上百亿参数确实带来了更强的表达能力能力涌现也确实存在但代价是推理成本同样在急剧膨胀。你对比一下两张卡跑一个70B量级模型和单卡跑一个7B模型吞吐差距可能接近一个数量级。更麻烦的是很多实际业务场景根本不缺“模型能力”缺的是“推理预算”。如果上线一个负责人工智能客服、内容审核或者图像识别接口的模型每调用一次都要付出很高的GPU计算成本产品毛利直接被打穿。这种情况下你去微调一个大模型效果是很强但根本不敢上线。知识蒸馏的思路很简单但非常有效不要让小模型从头学起而是让一个已经训练好的大模型“带”它学。大模型见过海量数据它的输出里其实包含了很多隐藏知识——比如“这张图90%是猫、7%是狐狸、3%是狗”而普通标签只会告诉你“这是猫”。这种概率分布信息就是蒸馏要搬运的核心。1.2 蒸馏在整个模型压缩路线图里的位置模型压缩不是一个新词。目前主流的压缩技术大致分四类剪枝Pruning、量化Quantization、蒸馏Distillation、轻量化架构设计比如MobileNet、ShuffleNet这类本身就更小的网络结构。它们解决的问题不同实际使用中往往是组合拳关系。下面这张表是我自己在选型时常用的对照压缩方式核心思路典型收益主要副作用剪枝去掉不重要的权重或通道模型体积减小有时推理变快精度可能有损失部分结构化剪枝需要特殊硬件支持量化把FP32的权重压成INT8甚至更低显存占用和内存带宽大幅降低精度有损失对敏感层需要校准知识蒸馏用小模型学习大模型的输出分布保持较高精度的同时换更小的模型结构需要额外训练一轮训练时间成本高轻量化架构设计直接设计计算量更小的网络推理延迟天生很低需要重新设计、重新训练工程量大蒸馏和其他方法的本质区别在于它是“换模型”而不是“压模型”。你完全可以把ResNet-50蒸馏到MobileNet这种轻量架构上让MobileNet学到ResNet-50的特征表达能力也可以先把大模型量化后再蒸馏进一步保住精度。实际生产里先蒸馏再量化的路径很常见两步加起来能压掉90%以上的资源消耗。2. 蒸馏原理拆解软标签、温度系数与损失函数设计2.1 硬标签与软标签的信息量差距传统分类训练里一张猫的图片被标成一个one-hot向量猫1其余全部0。这种标签被叫做硬标签Hard Label。问题在于one-hot向量完全不包含类别之间的关系信息。猫和狗、猫和狐狸在硬标签里都是“非猫”距离完全一样。但人识图不是这样认知的——你看到一只猫可能觉得它越看越像狐狸的某些特征或者说“这猫长得有点狗里狗气”。教师模型输出的softmax概率分布就包含这种信息。比如说教师模型对一张猫图输出[猫0.88, 狐狸0.07, 狗0.03, 其他0.02]这个0.07的狐狸概率意味着“这猫的某些特征和狐狸挺接近”。学生模型如果学会这层信息不仅能分清猫还能知道猫和狐狸之间细粒度特征的相关性。直接比较两个概率分布、让学生的分布去逼近教师分布就是蒸馏训练的核心机制之一。这样小模型学到的不只是答案更是大模型的“思考方式”——体现在输出概率的细微差异上。2.2 温度系数T控制“知识浓度”的旋钮不过直接拿大模型的原始softmax输出当教学信号有一个问题当大模型已经拟合得很好时输出概率往往会非常尖锐比如猫的概率0.997其他三类都接近0.001。这种情况下概率分布几乎又退化成one-hot细粒度信息全丢了。所以Hinton在经典论文《Distilling the Knowledge in a Neural Network》里引入了一个温度系数Tsoftmax公式变为[ q_i \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} ]T越高输出的概率分布就越平滑类别之间的相对差异被放大隐藏知识更容易暴露出来。T1时就是标准softmaxT2、T4时概率分布中“第二可能”“第三可能”的类别信息就显现了。T的选择是个经验活。T太低软标签还是太尖锐跟硬标签没区别T太高分布被抹平得太厉害各个类别概率都差不多反而降低了信息信噪比。我在图像分类任务上常用的范围是T3~6序列任务比如文本分类会稍微低一点用2~4。另一条经验是高温T得到的软标签在训练后期效果更明显因为学生模型前期还在学粗粒度分类根本消化不了那么细的信息。2.3 损失函数的两条腿蒸馏Loss与硬标签Loss完整KD损失由两部分构成蒸馏Loss学生网络在高温T下的softmax分布与教师网络在高温T下的softmax分布之间的交叉熵。学生Loss学生网络在T1下的预测与真实one-hot标签之间的交叉熵也就是标准的分类损失。总损失一般写作 [ L \alpha \cdot L_{soft} (1-\alpha) \cdot L_{hard} ]这里alpha是权重系数控制“跟老师学”和“自己看标准答案”的比例。两个部分缺一不可只学老师会跟着犯错老师错分的样本学生也错分而且缺乏真实标签的约束只学硬标签就退化成了普通训练没有蒸馏意义。我实践中常用的配置是alpha0.7T4下面实战部分也沿用这个配置并会给出不同超参组合的对比结果。3. 完整实战把ResNet32蒸馏进一个轻量CNNCIFAR-103.1 环境准备与数据集说明这次实战选用CIFAR-10数据集理由很简单数据规模适中6万张32x32彩色图片单张普通显卡几分钟就能完成一轮训练非常适合做原理验证和超参实验。当然方法论是通用的你自己有数据集时可以按同样的流程替换。环境清单PyTorch 2.0CPU也可跑只是慢torchvision自带CIFAR-10下载接口CUDA显卡可选实在没有就用CPU跑小规模epochCIFAR-10共10个类别分别为飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车。训练集5万张测试集1万张。数据预处理需要做标准化CIFAR-10每个通道的均值和标准差是固定的均值 (0.4914, 0.4822, 0.4465)标准差 (0.2470, 0.2435, 0.2616)这里有个小坑提醒很多人会忘记做数据增强。图像分类任务不增强模型很容易过拟合尤其教师模型本身参数量不小。我在训练里用了RandomCrop加水平翻转的经典组合。3.2 学生模型结构选择为什么不用“无脑小”很多初学者在做蒸馏时最纠结的是学生网络该选什么结构。有人直接拿一个大网络砍一半通道有人干脆选一个已有的轻量网络。我的建议是学生网络不必和教师网络同构你可以大胆换成完全不同的架构只要输入输出维度一致即可。这次实战教师模型用ResNet32约46万参数学生模型用一个自定义的小型CNN约15万参数结构非常简单三层卷积两个全连接层每层通道数控制在32~64个之间。import torch import torch.nn as nn import torch.nn.functional as F class SmallCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.conv1 nn.Conv2d(3, 32, 3, padding1) self.bn1 nn.BatchNorm2d(32) self.conv2 nn.Conv2d(32, 64, 3, padding1) self.bn2 nn.BatchNorm2d(64) self.conv3 nn.Conv2d(64, 128, 3, padding1) self.bn3 nn.BatchNorm2d(128) self.pool nn.MaxPool2d(2, 2) self.fc1 nn.Linear(128 * 4 * 4, 256) self.fc2 nn.Linear(256, num_classes) def forward(self, x): x F.relu(self.bn1(self.conv1(x))) x self.pool(x) # 32 - 16 x F.relu(self.bn2(self.conv2(x))) x self.pool(x) # 16 - 8 x F.relu(self.bn3(self.conv3(x))) x self.pool(x) # 8 - 4 x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x self.fc2(x) return x选择这个结构的原因一是卷积层堆叠加池化下采样是图像分类最基本但有效的范式二是参数量大约只有教师的1/3能明显看出蒸馏的“压缩效果”三是结构简单代码审起来清楚方便你在此基础上改结构做对比实验。3.3 部署教师网络与训练脚本编写教师不能拿预训练权重直接偷懒因为我们要保证教师逻辑是自己训练出来的才好在实验里控制对比条件。所以我先把ResNet32在CIFAR-10上完整训练一遍。ResNet32可以直接用torchvision的resnet34改一下首层卷积适配32x32输入或者干脆用标准ResNet实现关键是把第一个卷积层的kernel size换成3、去掉首个池化层否则32x32的输入会直接被压成1x1整个网络根本跑不动。import torchvision from torchvision import transforms def get_resnet32_for_cifar(): model torchvision.models.resnet34(weightsNone) model.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1, biasFalse) model.maxpool nn.Identity() model.fc nn.Linear(512, 10) return model训练教师的脚本核心逻辑跟普通分类一样就是标准交叉熵优化。我训练了50个epochbatch size 128优化器用SGDmomentum0.9weight_decay5e-4初始学习率0.1在第30和第40个epoch处学习率乘以0.1。最终测试集准确率大约在92%~93%之间这个基线成绩先记下来后面学生模型的成绩会跟这个数字对照。3.4 蒸馏训练完整实现与解析接下来是整个实战最有价值的部分——蒸馏训练循环。代码本身并不复杂核心就两件事给教师和学生都加上温度T分别计算soft logits再算两者soft目标的KL散度或者交叉熵加上学生硬标签的交叉熵加权求和。import torch.nn.functional as F def kd_loss(student_logits, teacher_logits, labels, T4.0, alpha0.7): # 1. 学生和教师都除以温度T得到软化后的分布 soft_targets F.log_softmax(teacher_logits / T, dim1) soft_predictions F.log_softmax(student_logits / T, dim1) # 2. KL散度作为蒸馏loss注KL散度非对称这里用soft_predictions对soft_targets做 kd_loss_value F.kl_div(soft_predictions, soft_targets, reductionbatchmean) * (T * T) # 3. 硬标签交叉熵 ce_loss F.cross_entropy(student_logits, labels) # 4. 加权合并 return alpha * kd_loss_value (1 - alpha) * ce_loss有几个细节需要特别解释不是套话是实战里最容易出问题的地方第一* (T * T)这个操作非常容易漏。因为教师logits除以T之后梯度会按1/T的尺度缩小如果不乘回T的平方KD Loss在反向传播时梯度就会过小导致蒸馏训练几乎不收敛。乘回T的平方是为了保证梯度尺度不会因为温度缩放而失真这也是Hinton论文中给出的标准做法。漏掉这个乘法的同学往往会疑惑“为什么我蒸馏之后学生效果反而比直接训练还差”十有八九就是这里出了问题。第二KL散度方向别搞反。有些实现会用kl_div(teacher_soft, student_soft)也就是教师分布对学生分布做KL。但从信息论角度我们要的是让学生分布去拟合教师分布所以应该把target位置放教师、input位置放学生。换算成PyTorch的API就是soft_targets作为target输入、soft_predictions作为input输入。写反了训练仍然能跑但你是在用带噪声的教师分布去适应学生分布行为完全反了。第三alpha和T要联动调整。alpha越高模型越依赖教师的软标签但如果T同时调得很高教师分布过于平坦、几乎没有区分度学生反而学不到东西。常用策略是T高时alpha可以相应调低让硬标签兜底T低时alpha可以调高让软标签占据主导。我在这个任务上测过几组超参结果如下配置Talpha学生测试准确率直接从零训练基线--83.6%蒸馏低温度20.787.2%蒸馏中温度40.788.9%蒸馏高温度80.787.8%蒸馏中温度低alpha40.587.6%结论很明显蒸馏后的学生模型88.9%比直接训练的小模型83.6%高了5个百分点以上而且逼近教师的92%水平。参数量少了大约三分之二效果只低不到3个点。这组数据基本说明了蒸馏的有效性。3.5 评估与对比蒸馏到底赚了多少从上面的表格已经能看出收益但光看最终准确率还不够。我建议实际工程里至少再关注两个指标一是推理延迟和显存。学生模型参数量15万教师46万实际单次推理速度大约能快2倍左右显存占用也更低。如果进一步结合量化小模型还能继续缩小。二是错误分布。蒸馏后学生模型的错误样本和教师模型的错误样本高度重合说明它确实“继承了教师的知识”而不是只靠自己的浅层特征去猜。这个现象进一步验证了蒸馏的本质——知识在迁移而不只是精度在提升。4. 大语言模型场景下的蒸馏和CNN蒸馏完全不同的几个坑4.1 白盒蒸馏与黑盒蒸馏的路线选择CV里的蒸馏示范很好但很多人真正关心的是大语言模型的蒸馏。LLM的蒸馏和CNN蒸馏表面看起来都是“老师带学生”实际做法上差异非常大。主要分两种路线白盒蒸馏你手里有教师模型的权重和中间层输出可以在每一层做特征对齐或者logits对齐。比如DistilBERT就是这么做的预训练阶段让学生的隐藏层输出对齐教师网络的隐藏层输出。这条路线的优点是对齐得很彻底、效果好缺点是你必须能本地访问教师模型并加载它的权重很多商用大模型API根本不开放权重走不通。黑盒蒸馏你只能调用教师模型的API拿到最终输出拿不到中间层信息。这种情况下只能靠生成数据采集教师输出组成训练集再让学生模型去拟合这些数据。像一些大厂用的“数据蒸馏”方案本质就是拿大模型生成大量带标注的数据再用小模型去学习这些数据。这条路线的门槛低只要API可达就能做但对数据质量非常敏感。实际选哪条路线取决于你的资源和场景。如果你用的是开源大模型比如Qwen、Llama这类可以本地加载的模型白盒蒸馏是更优选择——效果上限更高。如果你只能调云上API黑盒蒸馏是唯一路径。4.2 大模型蒸馏的数据集构建策略黑盒蒸馏最关键的是训练数据从哪来。初学者最容易犯的错误是拿现成的开源数据集比如Alpaca、ShareGPT直接蒸馏。不是说这些数据集不能用而是它们的分布跟你的实际业务场景往往差得比较远蒸馏出来的小模型在通用任务上还行在你自己的业务数据上就可能崩。我的建议是混合策略把业务历史日志里的真实用户输入整理出来去除隐私信息后构造第一份种子数据再用这些种子输入去调用教师模型API让教师“扩写”出更多变体丰富输入的多样性与覆盖度把开源通用数据按一定比例比如1:3混合进最终训练集保留通用知识又聚焦业务场景。扩写这一步尤其重要。因为业务日志里的输入数量通常有限覆盖不到所有边界case。教师模型本身有很强的改写和续写能力让它对每一条种子输入生成多个相似但不同的变体相当于低成本扩充了训练集。我自己实践中这招能把学生模型在少数类别上的效果提升非常明显。4.3 我在LLM蒸馏实际操作中踩过的三个坑第一个坑是忽略序列长度的影响。CV里蒸馏不受输入序列长度影响但LLM是自回归生成蒸馏时教师输出的每个token概率分布都很重要。如果你只拿教师最终答案去训练学生而不去对齐每个token的概率分布学生的生成质量会明显下滑。所以如果可能尽量获取教师每个token的logits白盒或者至少拿到多种采样温度下的不同输出黑盒近似让学生学到更多样的生成路径。第二个坑是学生模型容量太小导致“消化不良”。LLM蒸馏比CV更明显如果学生模型比教师小一到两个数量级它根本没有能力完全模仿教师的行为。一个7B模型想完全吸收70B模型的全部能力是不现实的。合理的目标不是“完全等价”而是“在具体任务上逼近”。所以做LLM蒸馏务必明确任务边界——你是要做专用任务蒸馏还是通用能力蒸馏两者的数据配比和训练策略差别很大。第三个坑是评估方式不对。图像分类看准确率就够了LLM生成结果很难简单量化。很多项目做完蒸馏发现BLEU或者ROUGE分数很接近但人工体验差距很大或者人工评分差不多但某些指标掉了很多。我的经验是在蒸馏前就要确定一个与业务直接关联的评估集包含通过和失败的标准蒸馏后先在这个评估集上细测再决定要不要全量线上。不要只看几个笼统的Benchmark指标。5. 蒸馏效果的评估与边界什么时候该用、什么时候别硬上5.1 评估时应该关注的关键指标蒸馏项目做完不能只拿一个准确率或者BLEU分数就说成功。工程上建议从下面这几个维度综合评估一是学生与教师的效果差距。这个差距是核心指标但不能只求低还要看是否低于业务容忍阈值。比如你的任务本来就允许5%的误差那学生比教师高4个点就完全可以接受。二是学生相对“从零训练”的提升幅度。这个指标特别能说明蒸馏的价值如果你的学生模型蒸馏后和从零训练差不多说明蒸馏根本没起作用你得反省设置或者数据是不是有问题。好的蒸馏至少应该带来2~5个点的提升任务越难提升空间往往越大。三是压缩率和速度收益。这需要结合实际部署环境测试比如在目标推理框架TensorRT、ONNX Runtime、vLLM等里实测延迟和吞吐量。很多人在PyTorch里测的加速比换到推理框架后完全不一样因为框架对结构的底层优化方式差异很大。四是泛化性评估。用和训练集分布不同的数据测试学生的表现。强劲的蒸馏能让学生学到教师的泛化能力但搞不好也会把教师的bias一起继承下来——比如教师在某些类别上系统性误判学生也会跟着误判。5.2 哪些场景下蒸馏不会带来明显收益不是所有任务都适合蒸馏至少有三类情况我觉得要谨慎第一你用来蒸馏的教师模型本身效果就不好。如果教师自身的准确率都只有60%你很难通过蒸馏让学生超过60%。蒸馏的天花板就是教师的上限你最多逼近它很难超越。教师质量越强蒸馏收益越大所以第一步是先确保教师练好了。第二学生模型容量严重不足。一个特别极端的例子拿ResNet-152去蒸馏一个只有两层卷积的小网络学生根本拟合不了教师的复杂决策边界效果甚至会不如从零训练。学生容量得和任务难度、数据量匹配。第三任务本身较简单小模型直接训练就已经接近上限。比如MNIST手写数字识别不用蒸馏普通小网络已经能到99%以上蒸馏的提升空间趋近于零。这种情况下做蒸馏纯属浪费时间。另外提醒一点知识蒸馏并不是“免费午餐”。它额外增加了训练阶段的成本——你需要先训练教师再做蒸馏全过程耗时可能比单独训练小模型多出5~10倍。如果项目整体计算资源非常紧张你得权衡这笔训练成本是否值得。很多情况下的确值得——因为推理阶段省下的成本远超训练阶段的额外开销——但如果你只上线一个低频率的离线任务那就没必要折腾了。6. 我个人实操中的体会与后续思路做蒸馏这么多年最深的一点体会是蒸馏不是简单的“小模型跟大模型学着输出”而是一种重新定义监督信号的方式。传统训练给出的监督信号只有“对和错”而蒸馏给出的信号是“在老师眼中每个类别分别像什么”。这份信号在训练时是免费的推理后也不占任何资源却可能比单纯加大训练集更高效地提升小模型能力。一个小技巧分享如果遇到训练数据有限、小模型一直过拟合的困境蒸馏往往是个比数据增强更直接有效的方案。教师模型在见过的数据上生成软标签软标签天然带有“平滑正则”效果跟label smoothing的作用类似但是更智能——平滑程度依据类别间的真实相似度变化而不是均匀地“撒噪声”。后续如果想继续深入我建议从这几个方向扩展一是换更强的教师做对比实验探索学生容量的极限。把ResNet-152当作教师看学生CNN到底能逼近到什么水平这个曲线能帮你理解“知识上限”和“学生吸收能力”之间的关系。二是在NLP任务上复现同样的流程。中文情感分类、命名实体识别都可以用同一套KD框架只需要把CNN换成BERT和一个小参数量的学生Transformer。三是做组合压缩实验。先蒸馏出小模型再对这个小模型做INT8量化看看端到端压缩率能达到多少倍精度损失有多少。这个路线在生产环境里非常实用。最后蒸馏训练里有些反直觉的门道都是在跑完大量配置后才意识到的T和alpha不是独立参数它们互相牵制学生的训练轮数最好比普通训练多一些因为拟合软标签需要更长的时间教师和学生的数据增强策略最好保持一致否则两者的输入分布都不同学起来就变味了。写这篇文章就是希望你能避开这些暗坑真正把大模型的能力平滑地“搬”进小模型里。