在 LLM 推理场景中矩阵乘法几乎决定了整个生成链路的速度与成本。当模型越来越大、上下文越来越长、并发请求越来越高时显存带宽和计算单元都容易成为瓶颈。本文从实际推理优化视角出发拆解一种思路输入自适应的矩阵乘法缩减Reduced Matrix Multiplication。全部围绕原理、可选策略、原型验证和工程落地展开。1. 为什么 LLM 推理要关注矩阵乘法缩减1.1 LLM 推理中的矩阵乘法分布在哪里大语言模型在推理阶段的核心计算密集处主要集中在 Transformer 结构内部。一次完整的生成过程中矩阵乘法分布于多个模块Embedding 层将 token 序列映射为词向量本质是一次查表 矩阵乘法。Self-Attention 中的 Q/K/V 投影输入特征与权重矩阵相乘生成查询、键、值三个向量序列。Attention 得分计算Q 与 K 的转置相乘得到注意力权重。Softmax 后的加权求和注意力权重与 V 相乘。Feed-Forward NetworkFFN两个全连接层中间经过激活函数。输出层将解码结果映射回词表空间。从计算量占比来看LLM 的自回归生成Autoregressive Decoding过程中由于当前只能逐 token 生成FFN 部分与注意力投影部分的矩阵乘法占比极大。即使采用 KV Cache 缓解重复计算矩阵乘法仍然是每步生成必须执行的核心操作。既然如此减少矩阵乘法的计算量就成了一项直接收益明显的优化方向。但这里有一个关键前提不能明显影响最终输出的概率分布。换句话说目标是砍掉部分计算却让模型输出结果尽量不发生变化。1.2 “缩减”并不是“把模型变小”矩阵乘法缩减很容易被误解为模型剪枝或量化。它们之间有一定关系但解决的问题不同模型剪枝把不重要的权重直接置零或删掉某些通道/神经元。量化把 FP16 权重变成 INT8、INT4用更低精度表示。矩阵乘法缩减在推理执行阶段根据输入特征动态减少参与计算的矩阵维度、列数或计算路径。三者可以叠加使用。矩阵乘法缩减强调的是一个执行期行为不是训练后的静态结构变化。1.3 输入自适应为什么重要传统意义上的矩阵乘法优化大多是一次性优化所有输入样本都采用相同的加速路径。例如固定对某个维度的矩阵做低秩分解或者固定保留前 50% 的奇异值。但 LLM 推理的输入是动态变化的用户输入长度不同。生成阶段的 token 内容不同。Batch 内不同序列的关注重点不同。有些 token 在计算 Attention 时本身已经具有很集中的分布。有些隐藏层状态在激活函数后表现出明显的稀疏性。如果依然对全部输入采用统一缩减策略可能会造成两种后果对本来可以大步缩减的输入做得太保守加速收益有限。对需要完整计算精度的输入缩减得过度输出质量出现明显下降。输入自适应Input-Adaptive就是尝试依据输入的某种特征动态决定缩减方式和缩减力度。2. Reduced Matrix Multiplication 核心思想拆解2.1 按名称理解矩阵-乘积缩减从标题中的 Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction 可以拆出几层语义Reduced Matrix Multiplication被缩减后的矩阵乘法。强调最终执行的计算量小于朴素矩阵乘法。Matrix-Product Reduction对矩阵乘法中的“乘积操作”做缩减而不是简单裁剪输入或输出向量。Input-Adaptive缩减策略是根据每次输入的变化而变化的。具体到操作层面“矩阵乘积缩减”通常发生在两个方向对输入特征进行通道级筛选某些通道在这个输入样本中的贡献接近零可以跳过它们对应的权重计算。对权重矩阵进行动态低秩估计在给定的输入特征上权重矩阵的有效秩可能低于静态秩那么计算可以在更低秩的空间中完成。2.2 直觉矩阵乘法中可减去的部分在哪里为了说明直觉可以看一个最简单的全连接层。设输入向量为 x权重矩阵为 W输出为 y xW。朴素计算需要对 W 的每一列做完整点积。但是如果 x 中某些位置的数值非常小接近 0那么这些位置对应的 W 行向量实际发挥的作用也微乎其微。对于这批输入可以跳过这些行只对有效行做计算。换到 LLM 的 FFN 结构中这种效果更加明显。例如激活函数采用 ReLU 或类似结构时中间隐藏层会产生大量精确的零值或接近零的值。既然激活后的输出已经大量为 0下一层矩阵乘法就可以动态跳过这些维度。更一般地如果激活函数不是 ReLU而是 SiLU 或 GELU零值不会大规模出现但数值的方差分布仍有明显差异。此时可以通过阈值筛选出低贡献通道也可以借助低秩逼近将计算映射到低维子空间。2.3 数学表达上的缩减朴素矩阵乘法Y X W其中X 的维度为 [batch_size, seq_len, input_dim]W 的维度为 [input_dim, output_dim]Y 的维度为 [batch_size, seq_len, output_dim]。缩减后的表达可以写为Y ≈ X_r W_r其中X_r 是保留的重要通道子集W_r 是权重矩阵对应行或子空间投影。如果输入 x 中存在可忽略的维度集合 S_ignore那么X_effective X[:, :, mask]Y X_effective W[mask, :]mask 的生成取决于当前输入 X而不再是一次性静态生成的。3. 具体实现路线从静态到输入自适应3.1 静态列裁剪最简单的先验方法一种最粗糙的方法是离线分析权重矩阵找到权重范数较小的行直接把输入中对应维度删除。这种策略不是输入自适应的因为每个样本都删除相同维度。它的优点是实现简单缺点是不同样本的有效维度差异很大。某个输入样本在删除的维度上信息量可能很高于是误差会被放大。这个方案在深入讨论输入自适应之前可以先作为 baseline 理解。3.2 基于输入范数的动态列裁剪更贴近 Input-Adaptive 的方案是在推理过程中动态计算每个输入 token 或 Batch 中特征向量的维级贡献然后决定保留哪些维度。贡献度量方式有很多种每一维的绝对值之和。每一维的方差。每一维与输出层权重的交互强度。每一维在注意力机制中的参与度。以“绝对值之和”为例输入 X 的维度重要性可以用以下方式估计importance_j sum(abs(X[:, :, j]))对于当前 Batch重要性低的维度可以跳过。关键技术问题是如何选择阈值阈值过高会导致有效信息丢失过多。阈值过低则保留维度过大缩减收益不明显。实际实现中可以采用 Top-k 选择而不是绝对值阈值。例如固定保留 60% 的重要维度。这样做的好处是无论输入分布如何计算量都保持稳定。缺点是某些真正需要高精度的样本可能仍被压缩。所以更合理的方案是加入一个“误差预算”估计当前输入下各维度的能量分布。从高到低累加能量。当累计能量达到总能量的 95% 时停止保留后续维度。只对这些高能量维度执行后续矩阵乘法。这就是近似于动态主成分取舍的思路。3.3 结合低秩分解的矩阵乘积缩减另一个路线的落点是 Matrix-Product Reduction把 XW 改为先对 W 做低秩近似。W 可以近似为 A B。其中 A 的维度是 [input_dim, r]B 的维度是 [r, output_dim]r 远小于 input_dim。但这种一次性分解的问题在于固定的 r 不能适配所有输入。输入自适应版本会考虑当前输入 X 的主方向与 W 的结构是否匹配。如果当前输入主要分布在权重矩阵的前 r 个主方向覆盖空间内那么截断误差就很小。如果输入分布偏向于被截断的方向则需要增大 r 或回退到完全计算。LLM 推理阶段经常采用投机执行或提前终止等动态策略类似地可以设计一个快速估计模块动态判断当前输入是否落在“低秩友好区”。3.4 神经网络驱动的自适应路由更智能的方案是用一个很小的门控网络Gate Network来判断当前输入应当走完整矩阵乘法路径还是走低秩分解路径或者走裁剪后的窄矩阵乘法路径。这个思路类似混合专家模型MoE中的路由机制但这里路由的对象不是不同专家而是不同复杂度的矩阵乘法路径。门控网络接收输入特征本身。输入 token 的位置信息。当前 Batch 的统计信息如平均范数、稀疏度。当前层的层编号或功能类型。输出三种概率使用完整矩阵乘法。使用 Top-k 列裁剪后的矩阵乘法。使用低秩分解后的矩阵乘法。对生成结果质量要求更高的层例如靠近输出层的 FFN可倾向于完整计算。而对中间层且当前输入明显稀疏时可优先走裁剪路径。4. 用一个 PyTorch 示例验证输入自适应缩减思路下面通过一个可运行的 PyTorch 代码原型演示输入自适应矩阵乘法缩减的核心流程。4.1 定义基于输入范数的 Top-k 裁剪首先定义一个函数它接收输入张量 x 和权重矩阵 w然后根据输入特征在指定维度上的范数显著程度保留最重要的 k 个维度。import torch import torch.nn.functional as F def adaptive_matmul_reduce(x, w, keep_ratio0.7): 输入自适应矩阵乘法缩减原型 参数 - x: [batch_size, seq_len, input_dim] 或 [batch_size, input_dim] - w: [input_dim, output_dim] - keep_ratio: 保留维度的比例 返回 - y: 近似矩阵乘法结果 - dim_mask: 被保留的维度索引 if x.dim() 2: x x.unsqueeze(1) batch_size, seq_len, input_dim x.shape # 计算每个输入维度的贡献度基于绝对值累加 importance torch.abs(x).mean(dim(0, 1)) # [input_dim] # 确定保留维度的数量 keep_dim max(1, int(input_dim * keep_ratio)) # 按贡献度降序排序取前 keep_dim 个维度索引 sorted_indices torch.argsort(importance, descendingTrue) dim_mask sorted_indices[:keep_dim] dim_mask torch.sort(dim_mask).values # 裁剪输入与权重矩阵 x_reduced x[..., dim_mask] # [batch_size, seq_len, keep_dim] w_reduced w[dim_mask, :] # [keep_dim, output_dim] # 执行缩减后的矩阵乘法 y torch.matmul(x_reduced, w_reduced) return y, dim_mask4.2 添加误差感知与回退机制只做简单裁剪会带来输出质量下降的风险。现在给它加上误差感知机制当输入的能量集中度不够时自动提升保留比例当能量集中度高时才执行激进裁剪。def energy_based_adaptive_reduce(x, w, energy_threshold0.95, min_keep_ratio0.3): 基于能量累计分布的输入自适应缩减 if x.dim() 2: x x.unsqueeze(1) batch_size, seq_len, input_dim x.shape # 计算每个维度的重要性 importance torch.abs(x).sum(dim(0, 1)) # [input_dim] # 按重要性降序排序 sorted_indices torch.argsort(importance, descendingTrue) sorted_importance importance[sorted_indices] total_energy sorted_importance.sum().clamp(min1e-6) cumulative_energy torch.cumsum(sorted_importance, dim0) / total_energy # 找到满足累计能量阈值的最小维度数 keep_dim torch.searchsorted(cumulative_energy, torch.tensor(energy_threshold)).item() 1 # 防止保留维度过少 keep_dim max(keep_dim, int(input_dim * min_keep_ratio)) # 防止保留维度超出原矩阵列数 keep_dim min(keep_dim, input_dim) dim_mask torch.sort(sorted_indices[:keep_dim]).values x_reduced x[..., dim_mask] w_reduced w[dim_mask, :] y torch.matmul(x_reduced, w_reduced) return y, dim_mask4.3 模拟 LLM FFN 层的使用场景接着模拟一组类似 LLM 中间层的数据。为了让效果直观设计输入向量具有明显的稀疏特性。def simulate_ffn_layer(): torch.manual_seed(42) batch_size 4 seq_len 16 input_dim 256 hidden_dim 1024 # 模拟经过激活函数后的特征部分维度接近零 x torch.randn(batch_size, seq_len, input_dim) x F.gelu(x) # 模拟下一层权重矩阵 w torch.randn(input_dim, hidden_dim) * 0.1 # 全量计算 y_full torch.matmul(x, w) # 输入自适应缩减计算 y_reduced, mask adaptive_matmul_reduce(x, w, keep_ratio0.6) # 计算误差 mse F.mse_loss(y_full, y_reduced).item() relative_error (torch.norm(y_full - y_reduced) / torch.norm(y_full)).item() print(f原始输入维度: {input_dim}) print(f保留维度: {mask.shape[0]}) print(f实际保留比例: {mask.shape[0] / input_dim:.2f}) print(fMSE 误差: {mse:.6f}) print(f相对误差: {relative_error:.6f})4.4 完整运行示例将上面的函数放入一个文件中执行可以看到当输入中确实存在大量低贡献维度时这种方法能用少量精度损失换取可观的矩阵乘法规模缩减。if __name__ __main__: simulate_ffn_layer()在你自己的环境中实际执行时会观察到类似输出但数值会因为随机种子、矩阵规模和输入分布的不同而产生差异。从计算量的角度来看原本需要batch_size * seq_len * input_dim * hidden_dim次乘加操作。经过输入自适应裁剪后乘加次数下降为batch_size * seq_len * keep_dim * hidden_dim当 keep_dim 设置为 input_dim 的 50% 时矩阵乘法计算量直接减半。需要强调一点上面的代码只是为了验证思路并不是可以直接嵌入推理引擎的高性能实现。实际落地还要考虑算子融合、内存布局、稀疏矩阵格式选择等问题。5. 每种缩减思路的性能特征对比5.1 静态删除维度的性能特征这种模式最接近传统手工优化在部署时一次性分析出要删除的维度集合。模型推理时完全不需要额外判断逻辑因此计算路径非常干净。但它跟输入无关不同输入之间的差异完全没被利用。压缩率高时某些长尾样本的质量会明显变差。5.2 动态 Top-k 裁剪的性能特征动态裁剪可以适配输入差异但需要在每个推理步骤中计算维度贡献度。贡献度计算本身就是一个额外矩阵或向量操作。当 Batch 比较小序列长度也很短时额外的贡献度计算时间有可能抵消掉矩阵乘法缩减带来的收益。因此推荐在 Batch 较大时启用。Batch 越大贡献度计算的相对成本越低因为一次计算可以服务所有序列的所有 token。5.3 低秩自适应分解的性能特征低秩分解适合输入具有明显低秩结构特征的层。在 LLM 中部分中间层确实如此。最典型的实现方式可以参考 LoRA 等参数高效微调方法中的矩阵分解思想把一个大矩阵拆成两个小矩阵只是 LoRA 用于训练这里的思路用于推理时的动态路径选择。实际应用中可以给每个 Transformer 层离线准备多组低秩分解矩阵r16、r32、r64 等。推理时根据输入特征选择最合适的一组。注意多组矩阵也会增加显存占用。5.4 门控网络带来的额外开销门控网络是一条灵活的路线但代价是额外的推理延迟。理想情况下门控网络本身非常小例如只有一或两层 MLP。它的计算量远低于被跳过的矩阵乘法才能保证整体收益。门控网络的训练依赖于损失函数设计。如果希望门控网络学会选择路径可以定义如下形式的损失Loss 输出分布误差损失 λ * 平均计算量惩罚 - 输出分布误差损失鼓励选择高质量路径。 - 平均计算量惩罚鼓励降低计算量。 - λ平衡质量与速度的超参数。例如如果模型当前的输出概率分布与全量计算时的概率分布 KL 散度过大即使计算量减少 50%也不能接受。反之如果 KL 散度极小那就倾向先执行缩减。6. 结合 KV Cache 与投机推理的综合收益分析6.1 KV Cache 场景下的新机会LLM 推理的每一个解码步骤都依赖 KV Cache。在 Prefill 阶段处理提示词的阶段输入是完整序列矩阵乘法维度较大此时输入自适应缩减可以基于整个提示词序列的统计信息进行决策。在 Decode 阶段由于每一步只有一个新 token 的 Query 参与计算矩阵乘法的形状发生了变化。比如Q 投影的输入变为[batch_size, 1, hidden_dim]。此时单个 token 的维度贡献度计算会带来很大的相对开销。针对 Decode 阶段的更合适策略是统计当前 Batch 内所有序列的 Q 分布。对 Batch 内多个不同序列使用同一组保留维度。每隔若干步重新计算保留维度而不是每一步都计算。这样既能利用输入自适应带来的收益又能避免过高的动态决策开销。6.2 投机推理与缩减的结合投机推理Speculative Decoding通过让一个小模型或同一个模型的简化分支先生成多个候选 token再由大模型验证。输入自适应矩阵乘法缩减可以应用在验证阶段的候选序列处理上尤其是当验证目标明确且要求不高的场景。但需要注意验证阶段如果缩减过度大模型会错误接受小模型生成的次优 token最终影响生成质量。所以投机推理中用到的缩减策略在误差约束上面通常要比普通生成阶段更严格。7. 常见问题与排查思路7.1 缩减后输出质量退化明显这是最常遇到的问题。问题现象常见原因解决思路缩减后回答与原始结果差异较大保留维度不足丢弃了关键信息提高 energy_threshold 或 keep_ratio长文本任务退化更严重贡献度在长序列上分散误删维度更多改用低秩近似或只对 FFN 等冗余层做缩减少部分请求质量不稳定动态策略对抖动输入过于敏感引入质量兜底机制当信号低于阈值时回退到全量计算排查时建议先记录哪个层出现问题。可以用 Hook 打印每个 Transformer 层的输入输出范数分布对比完整计算和缩减计算在同一层的输出差异。如果差异在第 N 层已经放大再往后修复意义不大应考虑精度损失是否在预期范围内。7.2 端到端速度没有提升或反而变慢动态计算贡献度也需要时间。如果矩阵乘法本身的规模不够大额外操作会拖慢整体速度。问题现象常见原因解决思路小 Batch 下速度变慢贡献度计算开销占比过高小 Batch 固定使用完整计算大 Batch 再启用缩减算子碎片化严重维度 mask 导致矩阵乘法无法使用高效 BLAS 核函数对 dim_mask 做重排让保留维度连续排列GPU 利用率不高矩阵过小大量 kernel 启动时间占优只在超大矩阵乘法层使用例如 FFN 的升维和降维要理解为什么会出现这个问题可以参考 GPU 矩阵乘法的工作方式。对于较小的矩阵乘法kernel 启动开销与调度开销占比会变大缩减带来的浮点运算量减少未必抵得过这些额外开销。因此输入自适应缩减策略最适合应用在计算量足够大的矩阵乘法中。7.3 显存占用不降反升动态生成 dim_mask、保存多个低秩分解矩阵、缓存贡献度等都会带来额外显存开销。建议用极小缓存记录最近若干步的 dim_mask避免重复计算。在 CPU 上做维度排序运算GPU 只执行最终矩阵乘法。若使用门控网络把它放在单独流上避免阻塞主计算流。7.4 误差度量方式不统一有的团队用向量余弦相似度有的用 KL 散度有的直接对比最终输出字符串。度量不一致会导致优化方向混乱。建议至少同时观察三类指标Hidden State 层面的相对误差。修改某个中间层后检查输出向量的变化幅度是否在可接受范围。Logits 层面的 KL 散度对比全量输出概率与缩减输出概率观察是否翻转排序。任务层面的评分变化。例如问答准确率、摘要 ROUGE 分数或代码生成 passk 值这是最终业务质量的护栏。8. 最佳实践与工程建议8.1 从冗余度最高的层开始不是每一层都适合做矩阵乘法缩减。根据经验观察FFN 层的冗余性通常高于 Attention 投影层。Attention 层的 Q/K 投影直接影响 token 之间的相关性判断误差会被注意力权重放大。V 投影的影响相对低一些因为 V 的值还需要经过后续加权拼接过程部分误差可以被吸收。建议实际操作顺序对模型所有层做一次离线诊断统计激活值稀疏度和奇异值分布情况。只把激活值稀疏度高的层纳入候选层。对候选层小步调整 keep_ratio 或 energy_threshold。每调整一个或几个层就进行一次完整评估不要一次改完所有层。8.2 为每条路径建立精确的复杂度预算任何输入自适应策略都必须记录当前实际计算代价。不要只比较“缩减后 FLOPs”与“原始 FLOPs”要比较贡献度计算耗时。路径选择耗时。额外动态内存分配耗时。最终矩阵乘法的实际耗时。在 GPU 场景中最好以 CUDA Event 实际计时为准。不要在只有基准模型的情况下估算收益而是要测量端到端推理延迟。一个简单的生产化策略是设置每条路径的延迟预算。例如完整矩阵乘法延迟为 T动态路径延迟不得超过 0.7T否则立即启用回退路径。这样可以避免缩减策略在硬件和驱动变化后失效。8.3 保持原始权重与缩减路径解耦输入自适应缩减路径不应修改原始权重参数。所有 mask、低秩分解矩阵、门控参数都应作为推理进程的外部附加配置保存。这样可以做到不影响模型热更新。可以在不同推理请求间快速切换策略。方便 A/B 对比实验。另外必须保证“如果关闭缩减策略模型运行路径与原版完全等价”。这样生产环境出现重大质量事故时可以一键切回。8.4 把输入自适应缩减做进推理框架的调度层工程落地时不要直接硬改模型前向代码。推荐在推理框架的调度层实现。以 vLLM、TensorRT-LLM 或自研推理框架为例可以在算子执行前插入自适应决策模块。伪代码如下class AdaptiveLayer(torch.nn.Module): def __init__(self, original_layer, gating_fn): super().__init__() self.original_layer original_layer self.gating_fn gating_fn def forward(self, x): # 决策走哪条计算路径 path self.gating_fn(x) if path full: return self.original_layer(x) elif path reduced: return self.reduced_forward(x) else: # 默认回退完整计算 return self.original_layer(x)在真实框架中更可以进一步利用 CUDA Graph 把若干固定 shape 的计算路径固化下来。当动态决策确定走后直接按对应图执行。8.5 安全与权限边界在推理服务中引入动态路径控制后需要保证路由策略调整是一项受控操作。建议通过配置中心下发或独立管控接口控制策略参数不在线上临时通过命令行直接修改模型推理进程。所有策略变更应记录变更日志并标明以下信息变更时间。作用模型版本。策略参数。影响范围。回滚方式。这是因为一个策略在测试集上表现良好并不能保证它在生产流量上一定安全。只能通过受控灰度发布逐步验证。9. 结语与学习路线建议围绕 LLM 推理提速目前业内已经形成了多种不同思路量化、KV Cache、PagedAttention、投机采样、并行解码等。输入自适应的矩阵乘法缩减是一个相对较新的方向它的核心好处在于利用输入本身的分布特性动态选择计算强度而不是对一切样本一视同仁。学习这个方向可以按以下路线深入先掌握矩阵乘法在 GPU 上如何高效执行理解 Block、Tile、共享内存这些概念。没有这一步后面的所有“缩减”方案都无法评价收益。理解 Transformer 编码器与解码器在推理时的不同计算特点尤其是 Prefill 与 Decode 阶段。亲手实现一版最简单的静态 Top-k 裁剪先观察误差分布形成感性认识。研究低秩分解与 SVD 在神经网络中的应用再进阶到输入自适应的低秩路由。学习 MoE 路由机制思考它和计算路径选择的异同。阅读更前沿的关于动态推理、提前退出、计算分配策略的内容。如果要在自己的推理项目中落地可以注意以上几点选择冗余度高的层、先离线分析输入分布、在框架调度层做切换、准备一键回退能力。最终用业务指标和真实延迟说话而不是用理论计算量下降幅度说明收益。如果你手头有可访问的 LLM 推理环境建议先用小模型跑通上面的 PyTorch 原型再逐步增大模型规模观察缩减带来的精度损失趋势。动起手来会比读十篇文章更有价值。欢迎在实际测试后交流你的实验数据与踩坑情况。 输入自适应的矩阵乘法缩减：LLM推理加速新思路
在 LLM 推理场景中矩阵乘法几乎决定了整个生成链路的速度与成本。当模型越来越大、上下文越来越长、并发请求越来越高时显存带宽和计算单元都容易成为瓶颈。本文从实际推理优化视角出发拆解一种思路输入自适应的矩阵乘法缩减Reduced Matrix Multiplication。全部围绕原理、可选策略、原型验证和工程落地展开。1. 为什么 LLM 推理要关注矩阵乘法缩减1.1 LLM 推理中的矩阵乘法分布在哪里大语言模型在推理阶段的核心计算密集处主要集中在 Transformer 结构内部。一次完整的生成过程中矩阵乘法分布于多个模块Embedding 层将 token 序列映射为词向量本质是一次查表 矩阵乘法。Self-Attention 中的 Q/K/V 投影输入特征与权重矩阵相乘生成查询、键、值三个向量序列。Attention 得分计算Q 与 K 的转置相乘得到注意力权重。Softmax 后的加权求和注意力权重与 V 相乘。Feed-Forward NetworkFFN两个全连接层中间经过激活函数。输出层将解码结果映射回词表空间。从计算量占比来看LLM 的自回归生成Autoregressive Decoding过程中由于当前只能逐 token 生成FFN 部分与注意力投影部分的矩阵乘法占比极大。即使采用 KV Cache 缓解重复计算矩阵乘法仍然是每步生成必须执行的核心操作。既然如此减少矩阵乘法的计算量就成了一项直接收益明显的优化方向。但这里有一个关键前提不能明显影响最终输出的概率分布。换句话说目标是砍掉部分计算却让模型输出结果尽量不发生变化。1.2 “缩减”并不是“把模型变小”矩阵乘法缩减很容易被误解为模型剪枝或量化。它们之间有一定关系但解决的问题不同模型剪枝把不重要的权重直接置零或删掉某些通道/神经元。量化把 FP16 权重变成 INT8、INT4用更低精度表示。矩阵乘法缩减在推理执行阶段根据输入特征动态减少参与计算的矩阵维度、列数或计算路径。三者可以叠加使用。矩阵乘法缩减强调的是一个执行期行为不是训练后的静态结构变化。1.3 输入自适应为什么重要传统意义上的矩阵乘法优化大多是一次性优化所有输入样本都采用相同的加速路径。例如固定对某个维度的矩阵做低秩分解或者固定保留前 50% 的奇异值。但 LLM 推理的输入是动态变化的用户输入长度不同。生成阶段的 token 内容不同。Batch 内不同序列的关注重点不同。有些 token 在计算 Attention 时本身已经具有很集中的分布。有些隐藏层状态在激活函数后表现出明显的稀疏性。如果依然对全部输入采用统一缩减策略可能会造成两种后果对本来可以大步缩减的输入做得太保守加速收益有限。对需要完整计算精度的输入缩减得过度输出质量出现明显下降。输入自适应Input-Adaptive就是尝试依据输入的某种特征动态决定缩减方式和缩减力度。2. Reduced Matrix Multiplication 核心思想拆解2.1 按名称理解矩阵-乘积缩减从标题中的 Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction 可以拆出几层语义Reduced Matrix Multiplication被缩减后的矩阵乘法。强调最终执行的计算量小于朴素矩阵乘法。Matrix-Product Reduction对矩阵乘法中的“乘积操作”做缩减而不是简单裁剪输入或输出向量。Input-Adaptive缩减策略是根据每次输入的变化而变化的。具体到操作层面“矩阵乘积缩减”通常发生在两个方向对输入特征进行通道级筛选某些通道在这个输入样本中的贡献接近零可以跳过它们对应的权重计算。对权重矩阵进行动态低秩估计在给定的输入特征上权重矩阵的有效秩可能低于静态秩那么计算可以在更低秩的空间中完成。2.2 直觉矩阵乘法中可减去的部分在哪里为了说明直觉可以看一个最简单的全连接层。设输入向量为 x权重矩阵为 W输出为 y xW。朴素计算需要对 W 的每一列做完整点积。但是如果 x 中某些位置的数值非常小接近 0那么这些位置对应的 W 行向量实际发挥的作用也微乎其微。对于这批输入可以跳过这些行只对有效行做计算。换到 LLM 的 FFN 结构中这种效果更加明显。例如激活函数采用 ReLU 或类似结构时中间隐藏层会产生大量精确的零值或接近零的值。既然激活后的输出已经大量为 0下一层矩阵乘法就可以动态跳过这些维度。更一般地如果激活函数不是 ReLU而是 SiLU 或 GELU零值不会大规模出现但数值的方差分布仍有明显差异。此时可以通过阈值筛选出低贡献通道也可以借助低秩逼近将计算映射到低维子空间。2.3 数学表达上的缩减朴素矩阵乘法Y X W其中X 的维度为 [batch_size, seq_len, input_dim]W 的维度为 [input_dim, output_dim]Y 的维度为 [batch_size, seq_len, output_dim]。缩减后的表达可以写为Y ≈ X_r W_r其中X_r 是保留的重要通道子集W_r 是权重矩阵对应行或子空间投影。如果输入 x 中存在可忽略的维度集合 S_ignore那么X_effective X[:, :, mask]Y X_effective W[mask, :]mask 的生成取决于当前输入 X而不再是一次性静态生成的。3. 具体实现路线从静态到输入自适应3.1 静态列裁剪最简单的先验方法一种最粗糙的方法是离线分析权重矩阵找到权重范数较小的行直接把输入中对应维度删除。这种策略不是输入自适应的因为每个样本都删除相同维度。它的优点是实现简单缺点是不同样本的有效维度差异很大。某个输入样本在删除的维度上信息量可能很高于是误差会被放大。这个方案在深入讨论输入自适应之前可以先作为 baseline 理解。3.2 基于输入范数的动态列裁剪更贴近 Input-Adaptive 的方案是在推理过程中动态计算每个输入 token 或 Batch 中特征向量的维级贡献然后决定保留哪些维度。贡献度量方式有很多种每一维的绝对值之和。每一维的方差。每一维与输出层权重的交互强度。每一维在注意力机制中的参与度。以“绝对值之和”为例输入 X 的维度重要性可以用以下方式估计importance_j sum(abs(X[:, :, j]))对于当前 Batch重要性低的维度可以跳过。关键技术问题是如何选择阈值阈值过高会导致有效信息丢失过多。阈值过低则保留维度过大缩减收益不明显。实际实现中可以采用 Top-k 选择而不是绝对值阈值。例如固定保留 60% 的重要维度。这样做的好处是无论输入分布如何计算量都保持稳定。缺点是某些真正需要高精度的样本可能仍被压缩。所以更合理的方案是加入一个“误差预算”估计当前输入下各维度的能量分布。从高到低累加能量。当累计能量达到总能量的 95% 时停止保留后续维度。只对这些高能量维度执行后续矩阵乘法。这就是近似于动态主成分取舍的思路。3.3 结合低秩分解的矩阵乘积缩减另一个路线的落点是 Matrix-Product Reduction把 XW 改为先对 W 做低秩近似。W 可以近似为 A B。其中 A 的维度是 [input_dim, r]B 的维度是 [r, output_dim]r 远小于 input_dim。但这种一次性分解的问题在于固定的 r 不能适配所有输入。输入自适应版本会考虑当前输入 X 的主方向与 W 的结构是否匹配。如果当前输入主要分布在权重矩阵的前 r 个主方向覆盖空间内那么截断误差就很小。如果输入分布偏向于被截断的方向则需要增大 r 或回退到完全计算。LLM 推理阶段经常采用投机执行或提前终止等动态策略类似地可以设计一个快速估计模块动态判断当前输入是否落在“低秩友好区”。3.4 神经网络驱动的自适应路由更智能的方案是用一个很小的门控网络Gate Network来判断当前输入应当走完整矩阵乘法路径还是走低秩分解路径或者走裁剪后的窄矩阵乘法路径。这个思路类似混合专家模型MoE中的路由机制但这里路由的对象不是不同专家而是不同复杂度的矩阵乘法路径。门控网络接收输入特征本身。输入 token 的位置信息。当前 Batch 的统计信息如平均范数、稀疏度。当前层的层编号或功能类型。输出三种概率使用完整矩阵乘法。使用 Top-k 列裁剪后的矩阵乘法。使用低秩分解后的矩阵乘法。对生成结果质量要求更高的层例如靠近输出层的 FFN可倾向于完整计算。而对中间层且当前输入明显稀疏时可优先走裁剪路径。4. 用一个 PyTorch 示例验证输入自适应缩减思路下面通过一个可运行的 PyTorch 代码原型演示输入自适应矩阵乘法缩减的核心流程。4.1 定义基于输入范数的 Top-k 裁剪首先定义一个函数它接收输入张量 x 和权重矩阵 w然后根据输入特征在指定维度上的范数显著程度保留最重要的 k 个维度。import torch import torch.nn.functional as F def adaptive_matmul_reduce(x, w, keep_ratio0.7): 输入自适应矩阵乘法缩减原型 参数 - x: [batch_size, seq_len, input_dim] 或 [batch_size, input_dim] - w: [input_dim, output_dim] - keep_ratio: 保留维度的比例 返回 - y: 近似矩阵乘法结果 - dim_mask: 被保留的维度索引 if x.dim() 2: x x.unsqueeze(1) batch_size, seq_len, input_dim x.shape # 计算每个输入维度的贡献度基于绝对值累加 importance torch.abs(x).mean(dim(0, 1)) # [input_dim] # 确定保留维度的数量 keep_dim max(1, int(input_dim * keep_ratio)) # 按贡献度降序排序取前 keep_dim 个维度索引 sorted_indices torch.argsort(importance, descendingTrue) dim_mask sorted_indices[:keep_dim] dim_mask torch.sort(dim_mask).values # 裁剪输入与权重矩阵 x_reduced x[..., dim_mask] # [batch_size, seq_len, keep_dim] w_reduced w[dim_mask, :] # [keep_dim, output_dim] # 执行缩减后的矩阵乘法 y torch.matmul(x_reduced, w_reduced) return y, dim_mask4.2 添加误差感知与回退机制只做简单裁剪会带来输出质量下降的风险。现在给它加上误差感知机制当输入的能量集中度不够时自动提升保留比例当能量集中度高时才执行激进裁剪。def energy_based_adaptive_reduce(x, w, energy_threshold0.95, min_keep_ratio0.3): 基于能量累计分布的输入自适应缩减 if x.dim() 2: x x.unsqueeze(1) batch_size, seq_len, input_dim x.shape # 计算每个维度的重要性 importance torch.abs(x).sum(dim(0, 1)) # [input_dim] # 按重要性降序排序 sorted_indices torch.argsort(importance, descendingTrue) sorted_importance importance[sorted_indices] total_energy sorted_importance.sum().clamp(min1e-6) cumulative_energy torch.cumsum(sorted_importance, dim0) / total_energy # 找到满足累计能量阈值的最小维度数 keep_dim torch.searchsorted(cumulative_energy, torch.tensor(energy_threshold)).item() 1 # 防止保留维度过少 keep_dim max(keep_dim, int(input_dim * min_keep_ratio)) # 防止保留维度超出原矩阵列数 keep_dim min(keep_dim, input_dim) dim_mask torch.sort(sorted_indices[:keep_dim]).values x_reduced x[..., dim_mask] w_reduced w[dim_mask, :] y torch.matmul(x_reduced, w_reduced) return y, dim_mask4.3 模拟 LLM FFN 层的使用场景接着模拟一组类似 LLM 中间层的数据。为了让效果直观设计输入向量具有明显的稀疏特性。def simulate_ffn_layer(): torch.manual_seed(42) batch_size 4 seq_len 16 input_dim 256 hidden_dim 1024 # 模拟经过激活函数后的特征部分维度接近零 x torch.randn(batch_size, seq_len, input_dim) x F.gelu(x) # 模拟下一层权重矩阵 w torch.randn(input_dim, hidden_dim) * 0.1 # 全量计算 y_full torch.matmul(x, w) # 输入自适应缩减计算 y_reduced, mask adaptive_matmul_reduce(x, w, keep_ratio0.6) # 计算误差 mse F.mse_loss(y_full, y_reduced).item() relative_error (torch.norm(y_full - y_reduced) / torch.norm(y_full)).item() print(f原始输入维度: {input_dim}) print(f保留维度: {mask.shape[0]}) print(f实际保留比例: {mask.shape[0] / input_dim:.2f}) print(fMSE 误差: {mse:.6f}) print(f相对误差: {relative_error:.6f})4.4 完整运行示例将上面的函数放入一个文件中执行可以看到当输入中确实存在大量低贡献维度时这种方法能用少量精度损失换取可观的矩阵乘法规模缩减。if __name__ __main__: simulate_ffn_layer()在你自己的环境中实际执行时会观察到类似输出但数值会因为随机种子、矩阵规模和输入分布的不同而产生差异。从计算量的角度来看原本需要batch_size * seq_len * input_dim * hidden_dim次乘加操作。经过输入自适应裁剪后乘加次数下降为batch_size * seq_len * keep_dim * hidden_dim当 keep_dim 设置为 input_dim 的 50% 时矩阵乘法计算量直接减半。需要强调一点上面的代码只是为了验证思路并不是可以直接嵌入推理引擎的高性能实现。实际落地还要考虑算子融合、内存布局、稀疏矩阵格式选择等问题。5. 每种缩减思路的性能特征对比5.1 静态删除维度的性能特征这种模式最接近传统手工优化在部署时一次性分析出要删除的维度集合。模型推理时完全不需要额外判断逻辑因此计算路径非常干净。但它跟输入无关不同输入之间的差异完全没被利用。压缩率高时某些长尾样本的质量会明显变差。5.2 动态 Top-k 裁剪的性能特征动态裁剪可以适配输入差异但需要在每个推理步骤中计算维度贡献度。贡献度计算本身就是一个额外矩阵或向量操作。当 Batch 比较小序列长度也很短时额外的贡献度计算时间有可能抵消掉矩阵乘法缩减带来的收益。因此推荐在 Batch 较大时启用。Batch 越大贡献度计算的相对成本越低因为一次计算可以服务所有序列的所有 token。5.3 低秩自适应分解的性能特征低秩分解适合输入具有明显低秩结构特征的层。在 LLM 中部分中间层确实如此。最典型的实现方式可以参考 LoRA 等参数高效微调方法中的矩阵分解思想把一个大矩阵拆成两个小矩阵只是 LoRA 用于训练这里的思路用于推理时的动态路径选择。实际应用中可以给每个 Transformer 层离线准备多组低秩分解矩阵r16、r32、r64 等。推理时根据输入特征选择最合适的一组。注意多组矩阵也会增加显存占用。5.4 门控网络带来的额外开销门控网络是一条灵活的路线但代价是额外的推理延迟。理想情况下门控网络本身非常小例如只有一或两层 MLP。它的计算量远低于被跳过的矩阵乘法才能保证整体收益。门控网络的训练依赖于损失函数设计。如果希望门控网络学会选择路径可以定义如下形式的损失Loss 输出分布误差损失 λ * 平均计算量惩罚 - 输出分布误差损失鼓励选择高质量路径。 - 平均计算量惩罚鼓励降低计算量。 - λ平衡质量与速度的超参数。例如如果模型当前的输出概率分布与全量计算时的概率分布 KL 散度过大即使计算量减少 50%也不能接受。反之如果 KL 散度极小那就倾向先执行缩减。6. 结合 KV Cache 与投机推理的综合收益分析6.1 KV Cache 场景下的新机会LLM 推理的每一个解码步骤都依赖 KV Cache。在 Prefill 阶段处理提示词的阶段输入是完整序列矩阵乘法维度较大此时输入自适应缩减可以基于整个提示词序列的统计信息进行决策。在 Decode 阶段由于每一步只有一个新 token 的 Query 参与计算矩阵乘法的形状发生了变化。比如Q 投影的输入变为[batch_size, 1, hidden_dim]。此时单个 token 的维度贡献度计算会带来很大的相对开销。针对 Decode 阶段的更合适策略是统计当前 Batch 内所有序列的 Q 分布。对 Batch 内多个不同序列使用同一组保留维度。每隔若干步重新计算保留维度而不是每一步都计算。这样既能利用输入自适应带来的收益又能避免过高的动态决策开销。6.2 投机推理与缩减的结合投机推理Speculative Decoding通过让一个小模型或同一个模型的简化分支先生成多个候选 token再由大模型验证。输入自适应矩阵乘法缩减可以应用在验证阶段的候选序列处理上尤其是当验证目标明确且要求不高的场景。但需要注意验证阶段如果缩减过度大模型会错误接受小模型生成的次优 token最终影响生成质量。所以投机推理中用到的缩减策略在误差约束上面通常要比普通生成阶段更严格。7. 常见问题与排查思路7.1 缩减后输出质量退化明显这是最常遇到的问题。问题现象常见原因解决思路缩减后回答与原始结果差异较大保留维度不足丢弃了关键信息提高 energy_threshold 或 keep_ratio长文本任务退化更严重贡献度在长序列上分散误删维度更多改用低秩近似或只对 FFN 等冗余层做缩减少部分请求质量不稳定动态策略对抖动输入过于敏感引入质量兜底机制当信号低于阈值时回退到全量计算排查时建议先记录哪个层出现问题。可以用 Hook 打印每个 Transformer 层的输入输出范数分布对比完整计算和缩减计算在同一层的输出差异。如果差异在第 N 层已经放大再往后修复意义不大应考虑精度损失是否在预期范围内。7.2 端到端速度没有提升或反而变慢动态计算贡献度也需要时间。如果矩阵乘法本身的规模不够大额外操作会拖慢整体速度。问题现象常见原因解决思路小 Batch 下速度变慢贡献度计算开销占比过高小 Batch 固定使用完整计算大 Batch 再启用缩减算子碎片化严重维度 mask 导致矩阵乘法无法使用高效 BLAS 核函数对 dim_mask 做重排让保留维度连续排列GPU 利用率不高矩阵过小大量 kernel 启动时间占优只在超大矩阵乘法层使用例如 FFN 的升维和降维要理解为什么会出现这个问题可以参考 GPU 矩阵乘法的工作方式。对于较小的矩阵乘法kernel 启动开销与调度开销占比会变大缩减带来的浮点运算量减少未必抵得过这些额外开销。因此输入自适应缩减策略最适合应用在计算量足够大的矩阵乘法中。7.3 显存占用不降反升动态生成 dim_mask、保存多个低秩分解矩阵、缓存贡献度等都会带来额外显存开销。建议用极小缓存记录最近若干步的 dim_mask避免重复计算。在 CPU 上做维度排序运算GPU 只执行最终矩阵乘法。若使用门控网络把它放在单独流上避免阻塞主计算流。7.4 误差度量方式不统一有的团队用向量余弦相似度有的用 KL 散度有的直接对比最终输出字符串。度量不一致会导致优化方向混乱。建议至少同时观察三类指标Hidden State 层面的相对误差。修改某个中间层后检查输出向量的变化幅度是否在可接受范围。Logits 层面的 KL 散度对比全量输出概率与缩减输出概率观察是否翻转排序。任务层面的评分变化。例如问答准确率、摘要 ROUGE 分数或代码生成 passk 值这是最终业务质量的护栏。8. 最佳实践与工程建议8.1 从冗余度最高的层开始不是每一层都适合做矩阵乘法缩减。根据经验观察FFN 层的冗余性通常高于 Attention 投影层。Attention 层的 Q/K 投影直接影响 token 之间的相关性判断误差会被注意力权重放大。V 投影的影响相对低一些因为 V 的值还需要经过后续加权拼接过程部分误差可以被吸收。建议实际操作顺序对模型所有层做一次离线诊断统计激活值稀疏度和奇异值分布情况。只把激活值稀疏度高的层纳入候选层。对候选层小步调整 keep_ratio 或 energy_threshold。每调整一个或几个层就进行一次完整评估不要一次改完所有层。8.2 为每条路径建立精确的复杂度预算任何输入自适应策略都必须记录当前实际计算代价。不要只比较“缩减后 FLOPs”与“原始 FLOPs”要比较贡献度计算耗时。路径选择耗时。额外动态内存分配耗时。最终矩阵乘法的实际耗时。在 GPU 场景中最好以 CUDA Event 实际计时为准。不要在只有基准模型的情况下估算收益而是要测量端到端推理延迟。一个简单的生产化策略是设置每条路径的延迟预算。例如完整矩阵乘法延迟为 T动态路径延迟不得超过 0.7T否则立即启用回退路径。这样可以避免缩减策略在硬件和驱动变化后失效。8.3 保持原始权重与缩减路径解耦输入自适应缩减路径不应修改原始权重参数。所有 mask、低秩分解矩阵、门控参数都应作为推理进程的外部附加配置保存。这样可以做到不影响模型热更新。可以在不同推理请求间快速切换策略。方便 A/B 对比实验。另外必须保证“如果关闭缩减策略模型运行路径与原版完全等价”。这样生产环境出现重大质量事故时可以一键切回。8.4 把输入自适应缩减做进推理框架的调度层工程落地时不要直接硬改模型前向代码。推荐在推理框架的调度层实现。以 vLLM、TensorRT-LLM 或自研推理框架为例可以在算子执行前插入自适应决策模块。伪代码如下class AdaptiveLayer(torch.nn.Module): def __init__(self, original_layer, gating_fn): super().__init__() self.original_layer original_layer self.gating_fn gating_fn def forward(self, x): # 决策走哪条计算路径 path self.gating_fn(x) if path full: return self.original_layer(x) elif path reduced: return self.reduced_forward(x) else: # 默认回退完整计算 return self.original_layer(x)在真实框架中更可以进一步利用 CUDA Graph 把若干固定 shape 的计算路径固化下来。当动态决策确定走后直接按对应图执行。8.5 安全与权限边界在推理服务中引入动态路径控制后需要保证路由策略调整是一项受控操作。建议通过配置中心下发或独立管控接口控制策略参数不在线上临时通过命令行直接修改模型推理进程。所有策略变更应记录变更日志并标明以下信息变更时间。作用模型版本。策略参数。影响范围。回滚方式。这是因为一个策略在测试集上表现良好并不能保证它在生产流量上一定安全。只能通过受控灰度发布逐步验证。9. 结语与学习路线建议围绕 LLM 推理提速目前业内已经形成了多种不同思路量化、KV Cache、PagedAttention、投机采样、并行解码等。输入自适应的矩阵乘法缩减是一个相对较新的方向它的核心好处在于利用输入本身的分布特性动态选择计算强度而不是对一切样本一视同仁。学习这个方向可以按以下路线深入先掌握矩阵乘法在 GPU 上如何高效执行理解 Block、Tile、共享内存这些概念。没有这一步后面的所有“缩减”方案都无法评价收益。理解 Transformer 编码器与解码器在推理时的不同计算特点尤其是 Prefill 与 Decode 阶段。亲手实现一版最简单的静态 Top-k 裁剪先观察误差分布形成感性认识。研究低秩分解与 SVD 在神经网络中的应用再进阶到输入自适应的低秩路由。学习 MoE 路由机制思考它和计算路径选择的异同。阅读更前沿的关于动态推理、提前退出、计算分配策略的内容。如果要在自己的推理项目中落地可以注意以上几点选择冗余度高的层、先离线分析输入分布、在框架调度层做切换、准备一键回退能力。最终用业务指标和真实延迟说话而不是用理论计算量下降幅度说明收益。如果你手头有可访问的 LLM 推理环境建议先用小模型跑通上面的 PyTorch 原型再逐步增大模型规模观察缩减带来的精度损失趋势。动起手来会比读十篇文章更有价值。欢迎在实际测试后交流你的实验数据与踩坑情况。