1. 项目概述为什么我们需要“冻结”网络层在深度学习的模型训练与微调实践中我们经常会遇到一个看似矛盾的需求既要利用预训练模型强大的特征提取能力又要针对新任务调整模型的部分行为。直接对整个模型进行训练不仅计算成本高昂还可能导致模型“遗忘”掉预训练阶段学到的宝贵通用知识这种现象在迁移学习中被称为“灾难性遗忘”。这时“固定网络部分层使其不参与反向传播更新”就成了一个至关重要的技巧。简单来说这个项目就是探讨如何在PyTorch框架下精准地控制模型中的特定参数或层在训练过程中保持“冻结”状态。这里的“冻结”意味着在反向传播计算梯度时这些参数对应的梯度将被忽略或置零因此在优化器执行step()更新时它们的值保持不变。这听起来简单但在实际操作中如何高效、清晰且无遗漏地管理大量参数的“冻结”与“解冻”状态却藏着不少门道。无论是做图像分类时固定骨干网络Backbone还是在NLP任务中固定BERT的前几层编码器亦或是在多任务学习中隔离共享层与任务特定层这个技巧都是提升训练效率、稳定训练过程、实现模型可控演化的核心手段。2. 核心原理与PyTorch机制解析要理解如何“固定”层首先得深入PyTorch的自动微分Autograd机制。在PyTorch中每个torch.Tensor都有一个requires_grad属性。当这个属性被设置为True时PyTorch会在前向传播过程中追踪所有对该张量的操作并构建一个计算图。在反向传播时会根据这个计算图利用链式法则计算每个requires_gradTrue的张量相对于损失函数的梯度并将梯度存储在该张量的.grad属性中。因此“冻结”一个层或参数的核心就是将其所有可训练参数的requires_grad属性设置为False。一旦requires_gradFalse在前向传播中PyTorch不会为该参数记录计算历史在反向传播中自然也就不会计算其梯度。没有梯度优化器在更新参数时就会跳过它。这里有一个关键细节需要注意仅仅设置requires_gradFalse是不够的。如果优化器如torch.optim.SGD或torch.optim.Adam在初始化时已经将这批参数纳入了其管理的参数组param_groups中那么即使这些参数没有梯度优化器的step()方法仍然会遍历它们虽然值不变但可能涉及一些内部状态更新如Adam的动量和方差估计。更佳实践是在设置requires_gradFalse后确保优化器只接收那些需要更新的参数。这通常通过过滤模型参数来实现。另一个重要概念是模型的.train()和.eval()模式。.train()模式会启用训练相关的行为如Dropout和BatchNorm的统计量更新.eval()模式则会关闭这些行为。但重要提示requires_grad的设置与模型的train/eval模式是相互独立的。一个层可以在.eval()模式下但requires_gradTrue例如在评估时进行梯度计算以进行对抗样本生成也可以在.train()模式下但requires_gradFalse这正是我们“冻结”层时的常态。切勿混淆两者。3. 实操指南多种冻结策略与代码实现理解了原理我们来看具体怎么做。根据冻结的粒度是整个模块、特定层、还是某些参数和策略静态冻结、动态解冻有不同的实现方法。3.1 基础方法遍历参数并设置 requires_grad这是最直接的方法。假设我们有一个预训练的ResNet-50模型我们想固定其所有的卷积层即除了最后的全连接层以外的所有参数。import torch import torchvision.models as models # 加载预训练模型 model models.resnet50(pretrainedTrue) # 方案一冻结所有参数然后单独解冻最后一层 for param in model.parameters(): param.requires_grad False # 解冻最后一层全连接层 (fc) for param in model.fc.parameters(): param.requires_grad True # 方案二更精细地按模块名冻结推荐更清晰 # 假设我们想冻结所有在 ‘layer1’ ‘layer2’ ‘layer3’ 中的参数 layers_to_freeze [‘layer1’ ‘layer2’ ‘layer3’ ‘conv1’ ‘bn1’] for name, param in model.named_parameters(): # 如果参数名以 layers_to_freeze 中任何一个开头则冻结 if any(name.startswith(layer_name) for layer_name in layers_to_freeze): param.requires_grad False else: param.requires_grad True print(“冻结后参数检查”) for name, param in model.named_parameters(): if param.requires_grad: print(f”{name}: 需要更新”) else: print(f”{name}: 已冻结”)注意在方案二中使用named_parameters()进行遍历和条件判断可以让你对冻结范围有极其精确的控制。这是管理复杂模型冻结策略的推荐方式。3.2 优化器配置只传递需要梯度的参数设置完requires_grad后必须相应调整优化器。优化器应该只接收那些requires_gradTrue的参数这样可以减少优化器内部的内存占用和计算量。# 正确做法过滤出需要训练的参数 params_to_update [] for name, param in model.named_parameters(): if param.requires_grad: params_to_update.append(param) # 将需要更新的参数列表传递给优化器 optimizer torch.optim.Adam(params_to_update, lr0.001) # 错误做法将整个 model.parameters() 传给优化器 # optimizer torch.optim.Adam(model.parameters(), lr0.001) # 不推荐优化器仍会管理冻结参数一个更简洁的写法是使用filter函数optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr0.001)3.3 高级技巧部分冻结与动态解冻课程学习有时我们并不想从头到尾都冻结某些层。例如在“课程学习”或“渐进式解冻”策略中我们可能先训练新添加的头部层待其稳定后再逐步解冻并微调底层特征提取器。def freeze_layers(model, layer_names): “”“冻结指定名称的层”“” for name, param in model.named_parameters(): if any(name.startswith(layer) for layer in layer_names): param.requires_grad False def unfreeze_layers(model, layer_names): “”“解冻指定名称的层”“” for name, param in model.named_parameters(): if any(name.startswith(layer) for layer in layer_names): param.requires_grad True # 训练循环示例 epochs 100 model models.resnet50(pretrainedTrue) # 初始状态冻结所有骨干层只训练fc层 freeze_layers(model, [‘conv1’ ‘bn1’ ‘layer1’ ‘layer2’ ‘layer3’ ‘layer4’]) unfreeze_layers(model, [‘fc’]) optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-3) for epoch in range(epochs): # ... 训练代码 ... if epoch 50: # 第50个epoch后解冻 layer4 进行微调 print(“解冻 layer4 进行微调”) unfreeze_layers(model, [‘layer4’]) # 优化器需要重新初始化以纳入新解冻的参数 optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-4) # 通常微调时学习率更小 if epoch 80: # 第80个epoch后进一步解冻 layer3 print(“解冻 layer3 进行微调”) unfreeze_layers(model, [‘layer3’]) optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr5e-5)这种动态策略能有效缓解灾难性遗忘让模型更平滑地从通用特征过渡到任务特定特征。3.4 针对特定层类型如BatchNorm的特殊处理在冻结卷积层时一个常见的争议点是是否应该同时冻结与之关联的BatchNorm层包括其权重weight和偏置bias以及运行时统计量running_mean和running_var冻结BN的统计量如果你冻结了卷积层意味着该卷积层提取的特征分布将基本保持不变。那么为其服务的BN层统计量running_mean,running_var也理应保持固定不应该随新数据更新。此时除了设置requires_gradFalse还应将BN层设置为.eval()模式使其使用训练好的统计量进行归一化而不更新它们。# 冻结特定BN层并设置为eval模式 for name, module in model.named_modules(): if isinstance(module, torch.nn.BatchNorm2d) and name.startswith(‘layer1’): for param in module.parameters(): param.requires_grad False module.eval() # 关键停止running_mean/var的更新使用训练好的统计量不冻结BN的统计量另一种观点认为即使特征来自冻结的卷积层新任务的数据分布可能仍与预训练数据有差异让BN统计量进行小幅调整可能有益。此时仅设置requires_gradFalse但保持.train()模式或不做处理running_mean/var仍会更新。实操心得对于领域差异不大的任务如ImageNet预训练模型用于其他自然图像分类我倾向于冻结BN层并设置为.eval()这样更稳定。对于领域差异大的任务如医学图像可以尝试不冻结BN统计量但需密切监控验证集性能防止过拟合。4. 常见陷阱、问题排查与性能优化即使知道了方法在实际操作中依然会踩坑。下面是一些常见问题及解决方案。4.1 梯度计算与内存泄漏问题明明冻结了层为什么GPU内存占用似乎没有减少分析设置requires_gradFalse会阻止梯度计算从而在该参数处节省反向传播的计算图和梯度内存。但是如果模型中存在从可训练参数到冻结参数的计算路径PyTorch为了计算可训练参数的梯度可能仍然需要保留冻结参数在前向传播中的中间结果如果这些结果是计算图的必要部分。不过冻结参数自身的梯度不会被计算和存储。排查使用torch.cuda.memory_allocated()监控内存变化。确保优化器没有包含冻结参数。最大的内存节省来自于减少可训练参数的数量从而减小了优化器状态如Adam的动量和方差的大小。4.2 冻结后模型性能不变或下降问题冻结了预训练骨干网络后模型在验证集上的性能没有任何提升甚至下降。排查清单检查冻结是否真正生效在训练循环开始前打印部分关键参数的requires_grad属性和.grad属性在第一次backward()之后。确保冻结参数的.grad为None。# 第一次 backward 后检查 loss.backward() for name, param in model.named_parameters(): if not param.requires_grad and param.grad is not None: print(f”警告{name} 被冻结但有梯度”)检查优化器确认优化器的param_groups里只包含了需要更新的参数。打印len(optimizer.param_groups[0][‘params’])并与预期数量对比。学习率策略微调时对于新添加的层或解冻的层通常需要使用比预训练时更大的学习率或不同的学习率调度。可以考虑为不同参数组设置不同学习率。# 为不同部分设置不同学习率 params_group [] # 骨干网络参数假设部分解冻使用小学习率 params_group.append({‘params’: model.layer4.parameters(), ‘lr’: 1e-4}) # 全连接层参数使用较大学习率 params_group.append({‘params’: model.fc.parameters(), ‘lr’: 1e-3}) optimizer torch.optim.Adam(params_group)数据与任务适配性预训练模型的特征可能并不完全适合你的新任务。如果性能持续不佳可以考虑减少冻结的层数或尝试从更浅的层开始解冻。4.3 复杂模型结构的冻结管理对于具有分支、跳跃连接或共享参数的复杂模型如HRNet、Transformer手动管理named_parameters()会变得繁琐且容易出错。建议模块化设计在构建模型时就有意识地将需要一起冻结/解冻的层组织到nn.Module子类或nn.Sequential容器中。然后对整个容器进行操作。class MyModel(nn.Module): def __init__(self, backbone): super().__init__() self.feature_extractor backbone # 整个backbone作为一个模块 self.custom_head nn.Linear(2048, 10) def freeze_backbone(self): for param in self.feature_extractor.parameters(): param.requires_grad False # 如果需要也将backbone中的BN层设为eval for module in self.feature_extractor.modules(): if isinstance(module, nn.BatchNorm2d): module.eval()使用辅助函数或配置文件编写一个函数接收模型和一个定义冻结规则的配置文件如YAML自动遍历named_parameters()并设置状态。这在大规模实验中非常有用。4.4 验证/测试模式下的行为问题在验证阶段冻结的BN层行为异常。解决务必区分requires_grad和模型模式。对于冻结且设置为.eval()的BN层在验证时行为正常。对于冻结但未显式设置为.eval()的BN层如果模型调用了.train()其running_mean/var仍会更新这可能不是你想要的。最佳实践是在训练循环中每次切换阶段时显式调用model.train()或model.eval()并确保你对BN层的特殊处理如固定某些BN与模式切换兼容。一个常见的模式是# 训练阶段 model.train() # 但手动将冻结部分的BN层设为eval for module in model.frozen_section.modules(): if isinstance(module, nn.BatchNorm2d): module.eval() # 验证阶段 model.eval() # 这会将所有BN层设为eval覆盖之前的手动设置 with torch.no_grad(): # ... 验证代码 ...5. 工程实践构建一个可复用的模型冻结管理器为了将上述技巧系统化我们可以设计一个简单的冻结管理器类提高代码的复用性和可读性。class FreezeManager: “”“一个简单的模型参数冻结/解冻管理器”“” def __init__(self, model): self.model model self._initial_state {name: param.requires_grad for name, param in model.named_parameters()} def freeze_by_name(self, name_patterns, strictTrue): “”“ 根据名称模式冻结参数。 Args: name_patterns (str or list): 字符串或列表支持通配符*简单实现。 strict (bool): 如果为True任何未匹配到的pattern将引发警告。 ”“” if isinstance(name_patterns, str): name_patterns [name_patterns] frozen_count 0 for name, param in self.model.named_parameters(): for pattern in name_patterns: # 简单的通配符匹配* 匹配任意字符 if self._match_pattern(name, pattern): param.requires_grad False frozen_count 1 break # 匹配到一个pattern即可 print(f”冻结了 {frozen_count} 个参数。”) if strict: # 检查所有pattern是否至少匹配了一个参数简单实现 pass def unfreeze_by_name(self, name_patterns): “”“根据名称模式解冻参数。”“” if isinstance(name_patterns, str): name_patterns [name_patterns] unfrozen_count 0 for name, param in self.model.named_parameters(): for pattern in name_patterns: if self._match_pattern(name, pattern): param.requires_grad True unfrozen_count 1 break print(f”解冻了 {unfrozen_count} 个参数。”) def set_bn_eval_by_name(self, name_patterns): “”“将匹配的BatchNorm层设置为eval模式。”“” for name, module in self.model.named_modules(): if isinstance(module, (nn.BatchNorm2d, nn.BatchNorm1d)): for pattern in name_patterns: if self._match_pattern(name, pattern): module.eval() print(f”已将 {name} 设置为eval模式。”) break def get_trainable_params(self): “”“返回所有需要训练的参数。”“” return [param for param in self.model.parameters() if param.requires_grad] def reset_to_initial(self): “”“恢复所有参数到初始化时的 requires_grad 状态。”“” for name, param in self.model.named_parameters(): if name in self._initial_state: param.requires_grad self._initial_state[name] staticmethod def _match_pattern(name, pattern): “”“简单的通配符匹配。”“” if ‘*’ in pattern: # 将 * 替换为 .* 用于正则表达式这里简化处理 import fnmatch return fnmatch.fnmatch(name, pattern) else: return name.startswith(pattern) # 使用示例 model models.resnet50(pretrainedTrue) manager FreezeManager(model) # 冻结除fc层外的所有层 manager.freeze_by_name(‘*’) # 先全部冻结 manager.unfreeze_by_name(‘fc’) # 再解冻fc层 # 将骨干网络中的BN层固定 manager.set_bn_eval_by_name([‘layer1.*bn’ ‘layer2.*bn’ ‘layer3.*bn’ ‘layer4.*bn’ ‘bn1’]) # 获取需要训练的参数用于优化器 optimizer torch.optim.Adam(manager.get_trainable_params(), lr0.001)这个管理器虽然简单但已经能处理大部分常见场景。你可以根据需要扩展它比如支持正则表达式匹配、记录冻结历史、与学习率调度器联动等。6. 总结与个人经验体会固定网络层不进行更新远不止是param.requires_grad False这一行代码。它背后涉及对模型架构的理解、对优化过程的控制以及对任务迁移的深刻考量。在我多年的项目实践中以下几点体会尤为深刻第一冻结策略是超参数。没有放之四海而皆准的法则。冻结多少层、何时解冻需要根据目标任务的数据量、数据分布与预训练数据的相似度来实验决定。一个常用的启发性方法是数据量越小、任务差异越大冻结的层应该越多、越底层反之则可以解冻更多层甚至进行全模型微调。第二监控是关键。在采用冻结策略特别是动态解冻策略时必须紧密监控验证集损失和准确率。解冻一层后验证集性能出现短暂下降是正常的因为模型在适应新的可调参数但如果持续下降或剧烈波动可能意味着学习率太大或解冻时机不对。第三小心BatchNorm。这是最容易出问题的地方。混合使用.eval()模式和.train()模式的BN层可能会导致训练不稳定。我的习惯是对于明确要冻结的特征提取部分其中的BN层一律设为.eval()并冻结其参数对于需要训练的部分则保持默认。在训练循环中使用前文的模式切换方法来确保行为一致。第四优化器状态管理。每当动态解冻一部分参数后最好重新初始化优化器。因为旧的优化器内部如Adam的m和v可能还保留着已冻结参数的历史状态这些状态对于新解冻的参数是无用甚至有害的。重新初始化优化器是一个干净利落的做法。最后工具化你的流程。无论是使用上面提供的FreezeManager类还是你自己编写的脚本将冻结/解冻的逻辑封装起来能让你的实验代码更清晰减少错误也便于在不同项目间复用。深度学习工程很大程度上也是软件工程。