Mapping Networks——映射网络 (Mapping Networks)

论文《Mapping Networks》的核心是提出一种名为映射网络Mapping Networks的全新元学习架构旨在从根本上解决现代深度模型参数爆炸、训练昂贵和过拟合的问题。以下是全面的总结概括一、核心问题与动机问题深度神经网络参数动辄百万甚至万亿导致训练计算量大、耗时长、易过拟合、可解释性差。洞察受“流形假设”启发作者提出权重-流形假设——训练好的网络参数并非随机分布在高维空间而是位于一个低维的光滑流形上。核心思想既然参数存在低维结构就无需直接在高维空间训练而是可以学习一个从低维潜在空间到高维参数空间的映射从而用极少参数生成整个目标网络的权重。二、主要创新点三大支柱映射定理Mapping Theorem严格证明了若目标网络的最优参数位于低维流形上则存在一个光滑映射 g:d≪P能从低维潜在向量生成目标网络的全部参数且损失误差可任意小。并进一步证明了“加性调制”结构的可实现性定理2。映射网络架构可训练潜在向量 z维度很低如几十到几千是唯一需要梯度更新的参数。固定映射权重 权重调制映射网络本身的权重是固定的正交初始化但会被 z 通过仿射变换调制wij←wijαzi​。目标网络仅用于前向传播其权重完全由映射网络生成不参与训练真正实现了训练与目标网络解耦。映射损失Mapping Loss不仅包含任务损失分类/分割/检测等还引入三项正则化稳定性损失保证潜在空间微扰不引起输出剧变Lipschitz连续性。平滑性损失保证参数生成的几何一致性C²光滑性。对齐损失使潜在向量与权重主方向对齐提升泛化。三、训练策略单潜在向量训练SLVT一个 z 生成全部参数适合中小网络。逐层训练LWT每层用独立的较小 z 生成大幅降低内存占用适合大网络。四、实验结果亮点在多个任务和数据集上验证用极少的可训练参数达到甚至超越全参数训练的效果任务数据集参数量减少性能对比图像分类MNIST / Fashion-MNIST260~525倍精度超越或持平基线CNN深度伪造检测Celeb-DF / FF显著减少准确率提升最高达5.7%图像分割Cityscapes211倍像素精度提升mIoU接近时间序列预测空气污染数据集200倍以上MSE从0.0035降至0.00061微调ResNet50深度伪造检测约250倍对比全量微调性能几乎无损五、消融与鲁棒性分析重要发现调制是关键有调制Ours比无调制Ours-WM精度高2~4%。全训练映射权重反而更差说明固定调制比全可训练更抗过拟合。映射损失各组件均有效稳定性和平滑性贡献略大于对齐整体提升2~3%。可叠加其他压缩技术低秩分解LRD和剪枝可进一步减少推理参数且效果与基线一致。六、适用范围与局限性适用范围CNN、LSTM覆盖分类、分割、检测、时序预测、微调等任务与基线模型无关理论上可扩展至LLM和LVM。当前局限单潜在向量对超大网络内存需求较高但已通过逐层训练有效缓解。映射网络首次从理论和实践上证明可以通过训练一个极低维的潜在向量来“生成”一个高性能深度网络的全部权重从而将训练参数量减少2~3个数量级同时提升泛化能力、降低过拟合并可与现有压缩技术无缝结合。这是一种范式层面的改变而非简单的参数压缩技巧。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示摘要现代深度学习模型中不断攀升的参数数量对高效训练和解决过拟合问题构成了根本性挑战。我们通过引入映射网络Mapping Networks来解决这一问题该网络用一个紧凑的、可训练的低维潜在向量替代了高维的权重空间。我们的工作基于这样一个假设大型网络训练好的参数位于光滑、低维的流形上。因此由专用的映射损失Mapping Loss强化的映射定理Mapping Theorem从理论和实践上证明了存在一个从该潜在空间到目标权重空间的映射。映射网络显著减少了过拟合并在包括图像分类、深度伪造检测等复杂的视觉和序列任务上取得了与目标网络相当甚至更好的性能同时实现了高达 99.5% 的训练参数减少即大约 500 倍的参数缩减。1. 引言随着这些网络的规模和复杂性增长其训练变得更加困难、计算密集、耗时且昂贵。这种困难源于两个主要问题(1) 从头开始训练这些网络(2) 优化和跟踪如此巨大的参数空间的复杂性这常常阻碍可解释性并导致过拟合。图 1. 本领域现有工作与本工作的状态对比这促使我们寻求更高效的训练方法。为了改进训练我们主要有两个选择(1) 减少训练时间(2) 减少可训练参数。第一个问题可以通过跨多个GPU的分布式训练来解决。第二个问题同样重要因为它减少了过拟合的机会提高了泛化能力并降低了模型的黑盒特性。在这方面我们分析了参数空间以寻找训练好的参数可能集中在其周围的流形的存在性。我们方法背后的理论深深植根于对参数空间几何形状的研究。关于损失景观形状的研究表明网络权重有效地存在于低维区域内即具有较小的内在维度intrinsic dimension[16]。支持这一点的是对深度线性网络[1]进行的详细二阶研究发现误差函数中存在重要的低维谷底。这进一步得到了实证研究的支持这些研究表明不同深度网络的训练轨迹会收敛并驻留在一个共享的、内在的低维流形中[18]我们的图 2a 和 2b 也支持了这一点。从文献[11], [5], [10] 中可以得出类似的结论这些文献也暗示了流形的存在。这一发现被用于在[2]中将训练轨迹引导至能量景观中的大型平坦区域。各种推理权重减少技术如剪枝Pruning[20]、彩票假设Lottery Ticket hypothesis[9]都有效地利用了类似的想法如图 1 所示。在架构术语上我们的映射网络是一种超网络Hypernetwork[13]即一个生成目标网络权重的模型我们在图 1 中将其称为外部缩减external reduction。但在超网络中目标网络和超网络是共同训练的因此目标网络的训练无法避免而我们的方法则不然。此外它们也无法达到我们这样程度的可训练参数缩减。现代超网络[12]通常侧重于为图像分析任务生成条件权重以便能够跨输入或任务快速适应但有时会面临稳定性和容量保证方面的问题。我们明确地设计我们的系统以满足映射定理的解析要求这反映在我们的映射损失 Lmap​ 中以解决这个问题。考虑到我们计算资源的限制我们在现代 CNN 和 LSTM 上测试了我们的映射网络并在包括图像分类、图像分割、深度伪造检测、时间序列预测等任务上展示了结果使用的数据集包括 Celeb-DF、FF、MNIST、FMNIST、Cityscapes 等同时保持的可训练参数远少于基线模型。但是该方法与基线无关因此可以扩展到更大的模型和数据集。本工作的主要贡献有映射定理Mapping Theorem它确立了存在一个光滑的、低维的参数化方法能够以任意小的有界误差为目标网络生成最优的高维权重。映射网络Mapping Network由一个低维的可训练潜在向量和经过调制的映射权重组成以高效地生成目标网络参数从而将训练与目标网络解耦。映射损失Mapping Loss它联合优化了任务性能并强制执行映射定理所需的几何和解析属性。2. 方法受第 1 节讨论的流形假设启发我们分析了参数空间以寻找训练好的参数可能集中在其周围的流形。神经网络参数在训练过程中的演化可以通过微分几何的视角来解读即作为嵌入在高维参数空间 RP 中的低维流形上的点的轨迹。为了实证检验这一假设我们记录了一个在 MNIST 上训练的小型卷积神经网络CNN每一层的参数快照。图 2. 参数更新快照显示 CNN 演化中不同的参数流形。图 2a 中的 PCA 投影显示每一层对应的参数在降维空间中占据了不同的、光滑的、低维区域。这些区域内近乎线性的轨迹表明局部地看每一层的参数大致沿着仿射子空间演化。类似地t-SNE 图图 2b突显了这些轨迹的非线性几何结构。这些观测结果支持了局部欧几里得邻域的存在——这是可微流形结构的必要条件。这表明在优化过程中参数并没有探索完整的 P 维欧几里得空间而是沿着一个光滑的、低维的表面演化。这引导我们提出权重流形假设Weight Manifold Hypothesis2.1. 映射定理及其实用推论基于上述假设并在某些条件下我们将陈述并证明我们的映射定理。假设图 3. 映射网络的通用架构2.2. 映射网络卷积神经网络CNN或一般的深度神经网络表现出卓越的表征能力但代价是数百万的可训练参数和繁重的优化开销。为了解决这个问题我们引入了映射网络如图 3 所示这是一种元学习架构其中目标网络不被直接训练。相反一个可训练的潜在向量 (z) 以及由 z 调制的固定映射网络生成目标网络的参数这些参数仅用于前馈计算。其结果是在不牺牲精度或表达能力的前提下大幅减少了可训练参数这一点已由映射定理和可解性定理证明。2.2.1. 可训练潜在向量潜在向量 zz 被设置为可训练的以允许模型学习一个最优的低维嵌入从而最好地捕获目标网络的有效参数分布。潜在向量的长度根据目标网络的参数化确定并被视为一个可调的超参数以实现最优性能。2.2.2. 带有权重调制的映射网络图 4. 从第 p 轮到第 p1 轮映射权重的调制和潜在向量z 的训练过程2.2.3. 映射到网络参数2.2.4. 用于前馈和推理的目标网络然后目标网络执行标准的前馈和推理2.2.5. 架构附加组件2.2.6. 扩展到微调2.3. 映射损失为了有效地训练我们的映射网络损失函数必须同时确保强大的下游任务性能并保持参数流形的结构规律性从而实现我们映射定理中的假设。我们提出了一个映射损失函数在这里目标网络的所有参数都由一个单一的可训练潜在向量及其调制的映射权重来逼近如图 5a 所示。但是随着目标网络规模的增大非可训练映射权重的数量也会增加从而增加对系统 RAM 的需求。任务损失 (Task Loss)任务损失确保目标网络对下游任务做出正确的预测。对于分类任务我们采用交叉熵损失2.4. 训练我们部分模型在 Kaggle 的 P100 GPU 上训练部分在 NVIDIA T1000 上训练。MNIST、Fashion MNIST 数据集取自 PyTorch 的数据集。使用的训练策略有2.4.1. 单潜在向量训练SLVT在此策略中目标网络的全部参数均由一个单一的可训练潜在向量及其调制的映射权重来近似如图 5a 所示。但是随着目标网络规模的增大非可训练映射权重的数量也会相应增加从而提高了对系统 RAM 的需求。2.4.2. 逐层训练 (LWT)为了解决上述问题对于具有众多层的大型网络其各层参数可能位于不同的流形上我们采用如图 5b 所示的方法即使用多个独立的、较小的潜在向量来分别逼近每一层的参数。图 5. 映射网络使用的训练策略3. 结果我们在各种数据集上评估了我们模型的性能并与基线方法进行了比较完整结果见附录。所提出的映射网络 “Ours*” 和 “Ours†” 分别代表使用单潜在向量训练和逐层训练的网络。3.1. 映射 CNN 结果我们在图像分类、深度伪造检测和图像分割等任务上测试了我们的映射 CNN。为此我们选择了三种基线 CNN 变体即 CNN1、CNN2、CNN3其灵感来自 AlexNet、Le-Net、U-Net架构细节见附录。3.1.1. 图像分类表 1 展示了我们的映射网络在 MNIST 和 Fashion MNIST 数据集上的图像分类测试结果。基线 CNN1 和 CNN2 在 MNIST 上分别达到 99.32% 和 98.69% 的准确率在 FMNIST 上分别达到 92.89% 和 90.40%参数量分别为 537,994 和 108,618。我们的映射网络在使用一个潜在向量训练时仅用 2072 个参数就超越了目标 CNN1 的准确率实现了 260260 倍的参数缩减并且在目标 CNN2 的准确率上几乎持平。此外对于 FMNISTOurs* 在仅用 1024 个参数的情况下超越了基线 CNN1。实现了 525 倍的参数缩减。此外如表 1 所示逐层训练的效果超越了这两者分别达到了 99.67% 和 94.83% 的准确率。在 FMNIST 上训练基线 CNN1 时我们得到的训练准确率为 99.10%但测试准确率下降到了 92.89%。相比之下对于所提出的具有 2072 个参数的映射网络这个下降幅度仅为 1.8%这是过拟合显著减少的表现。表 1. 使用映射 CNN 进行图像分类3.1.2. 深度伪造检测我们在 Celeb-DF[17] 和 FF[21] 数据集上测试了我们的模型在视频深度伪造检测这一非常重要且相关的任务上的表现。具有 108,612 个可训练参数的基线 CNN2 在 Celeb-DF 上取得了 79.03% 的测试准确率而我们的映射网络仅用 2048 个可训练参数就达到了 85.90% 的准确率如表 2 所示。在 FF 数据集上也观察到了类似的改进。在 Celeb-DF 上我们的映射网络使用全网络训练策略对于 CNN1 实现了 5.7%的测试准确率提升。逐层训练略微提高了性能在 Celeb-DF 和 FF 上分别达到了 86.09% 和 86.28% 的准确率。表 2. 映射 CNN 在深度伪造检测上的表现3.1.3. 图像分割我们还在 Cityscapes 数据集 [3] 上测试了我们的映射网络在图像分割任务上的表现。表 3 显示我们的映射网络仅用 8192 个参数就达到了 97.92% 的像素准确率和 0.4623 的 mIoU而 Ours† 达到了 97.56% 的像素准确率和 0.48 的 mIoU。相比之下具有 1,734,803 个参数的基线 CNN3 达到了 93.21% 的像素准确率和 0.4957 的 mIoU。因此映射网络在图像分割任务中展现了显著的 211 倍参数缩减同时保持了几乎相同的性能。表 3. 图像分割结果3.2. 映射 LSTM 结果我们在空气污染数据集数据集见补充材料上的时间序列分析任务中测试了我们的映射 LSTM 模型。基线 LSTM 模型以 12961 个参数实现了 0.0035 的 MSE但映射网络仅用 64 个参数就超越了它并且随着潜在大小的增加MSE 进一步降低至 0.00061如表 4 所示。表 4. 映射 LSTM 在空气污染数据集上的表现表 5. 通过映射网络微调 ResNet503.3. 微调模型表 5 展示了在深度伪造检测任务上微调 ResNet50 的结果。结果表明我们的映射网络能够以显著减少的可训练参数有效地将预训练模型适应到新任务同时在使用 L250 时达到具有竞争力的准确率 95.10% 和 91.02%。关于 LL 值变化对结果影响的详细情况见附录。表 6. 在 FashionMNIST 数据集上对 Mapping Loss 的消融研究表 7. 映射 CNN 的鲁棒性研究表 8. 附加组件对映射网络的影响3.4. 映射网络的消融研究表 7 展示了我们的映射 CNN 在 FashionMNIST 数据集上的消融研究。“全 DNN” 表示潜在向量不可训练而映射权重通过梯度下降是可训练的。接下来“Ours-WM” 表示映射权重是固定的且不被调制。“LV WMAP” 表示映射权重由另一组可训练参数调制而不是由潜在向量调制。最后在 “LV 全DNN” 中潜在向量和映射权重都是可训练的其中潜在向量长度为 5 和 15 分别对应 5×1086185 和 15×10861815 个可训练参数。这里进一步增加潜在向量会导致参数数量激增但对性能帮助不大。在所有其他方法中映射网络Ours取得了最好的结果即使使用单独的可训练参数LV WMAP也无法提高性能。Ours* 相较于 Ours*-WM 有 2−4% 的准确率提升突显了权重调制的重要性。此外超越全 DNN 和 LV 全DNN 表明使映射权重完全可训练没有帮助反而会增加过拟合。因此调制映射权重在欠拟合和过拟合之间提供了一种有效的权衡。3.5. 映射损失的消融研究表 6 展示了我们的映射 CNN 在 FashionMNIST 数据集上使用映射损失函数中各种损失组件组合的消融研究。结果表明随着各种组件的添加映射损失的不同配置带来了准确率的逐步提高。从表中可以清楚看出稳定性和平滑性组件的贡献略大于对齐组件。从任务损失到完整映射损失整体准确率提升了 2−3%证明了其重要性。3.6. 附加组件的影响表 8 显示了在基线和映射网络中对全连接层应用 90% 的非结构化剪枝和低秩分解秩为 16的效果。Ours* 和 Ours† 在推理时与目标 CNN2 具有相同数量的非可训练推理参数。剪枝和 LRD 对 CNN2、Ours* 和 Ours† 的影响非常相似表明这些技术也可以有效地与映射网络结合。因此Ours*/Ours†LRD 和剪枝有效地减少了训练和推理参数及时间使其能够在图 1 中获得理想的位置。4. 结论映射网络在所示任务上取得了与目标网络相当甚至更好的性能同时减少了 200 倍到 500 倍的可训练参数并提高了表达能力、减少了过拟合和模型训练时间。然而对于大型目标网络单潜在向量训练在内存方面会略昂贵。这一问题通过逐层训练得到了解决它将内存需求降低了近 10 倍。对于微调通过结合逐层训练和增加每个调制元素所微调的权重数量这两个问题得到了共同解决使我们能够在未来将映射网络扩展到大型语言模型LLMs和大型视觉模型LVMs。