关于LoRA的几个问题

标准 LoRA 前向公式训练完 A/B 参数会不会永久合并到 W训练完的 A/B 参数最终会作用在 W 上吗仅离线合并时数学上叠加进 W永久固化在线动态推理PEFT不修改原始 W只是前向计算时临时叠加增量原始 W 文件不变。示例这里的 x 是啥LoRA 挂载在哪些地方q_proj、v_proj、k_proj、o_proj、gate_proj、up_proj、down_proj 都指的是啥Transformer 一层分为两大块Self-Attention 自注意力 FFN 前馈网络q_proj /k_proj/v_proj /o_proj → 属于注意力模块gate_proj /up_proj/down_proj → 属于FFN 前馈层注意力模块四组线性投影q/k/v/o_proj输入是上一层输出的隐状态 xdin4096全部是独立的权重矩阵 W各自可以单独挂载 LoRAFFN 三层线性gate /up/down_projLLaMA/Mistral 标准 SwiGLU 激活注意力输出后进入前馈网络三层独立权重负责非线性语义加工q/k/v/o注意力相关负责 token 之间上下文关联gate/up/down前馈 FFN 相关负责单 token 内部语义、知识存储LoRA挂载经验总结轻量化微调显存小、通用任务target_modules[“q_proj”,“v_proj”]重度领域微调代码 / 数学 / 长文本全量 [“q_proj”,“v_proj”,“k_proj”,“o_proj”,“gate_proj”,“up_proj”,“down_proj”]不推荐优先挂 k_proj收益极低、容易打乱原生注意力权重为啥d_out在前d_in在后