CoT-VLA 代码级拆解：机器人如何“先想后做“？子目标图像生成 + 混合注意力全讲透

船漏了就会沉 · 在 AI 浪潮里不沉船 把顶会论文和机器人算法讲给愿意的人听。这是「具身智能顶会盘点」系列的第 2 篇。第 1 篇我们横向对比了 CoT-VLA / ReconVLA / NitroGen 三条路线这篇钻进 CoT-VLA 内部把它先想后做的机制拆到能跑的流程。你能学到什么CoT-VLA 推理时到底先生成了什么、再生成了什么为什么图像生成用因果注意力、动作预测却用全注意力混合注意力的妙处两阶段训练的数据从哪来为什么无动作视频这么关键它的真实代价推理慢 7 倍问题出在哪目录一句话回顾CoT-VLA 在解决什么整体推理流水线模型底座VILA-U 是什么核心机制①子目标图像怎么生成核心机制②混合注意力为什么这么设计两阶段训练数据从哪来伪代码把流程串起来示意代价与局限诚实版带走的三句话一、一句话回顾CoT-VLA 在解决什么传统 VLA 是看图 听指令 → 直接出动作的端到端黑盒。CoT-VLA 加了一个中间步骤先生成一张子目标图像未来几步后场景该长什么样再基于这张图去预测动作。这一步就是视觉版的思维链Chain-of-Thought。二、整体推理流水线一次推理拆成两段顺序很关键注意一个细节子目标图像必须先于动作生成完动作阶段才能开始。这正是后面慢 7 倍的根源。三、模型底座VILA-U 是什么CoT-VLA 不是从零造的而是站在VILA-U这个统一多模态模型上。VILA-U 的特点是同一个模型既能理解图像/文本也能生成图像/文本图像被打成离散的视觉 token和文本 token 共用一套词表塞进同一个自回归 LLM 里处理。这就解释了为什么 CoT-VLA 能用生成图像的方式做推理——因为它底子就是个能出图的 LLM。论文里固定了视觉编码器Vision Tower主要训练三块LLM 主干、映射层Projector、深度TransformerDepth Transformer。四、核心机制①子目标图像怎么生成阶段 A 本质是以文生图的变体但条件不同输入是当前图像 语言指令模型自回归地吐出256 个图像 token解码回一张子目标图像这 256 个 token 用因果注意力causal attention——每个 token 只能看前面的 token和正常文本生成一样一个接一个吐。为什么是图像而不是文字当思维论文的论点很实用像素当中间表示比 bounding box、关键点这种抽象符号更可解释、也更有效——你直接能看到模型想象的是哪幅画面。五、核心机制②混合注意力为什么这么设计这是 CoT-VLA 最值得抠的设计。同一个 Transformer前后两段用的是不同的注意力掩码阶段生成内容注意力类型原因A 图像生成子目标图像 token因果注意力图像要一个 token 一个 token 自回归生成B 动作预测动作 token全注意力full attention动作要同时看到当前图像、指令、子目标图像全部上下文动作预测用 full attention意思是每个动作 token 都能无遮挡地 attend 到前面的图像和指令——这样动作才不会被生成顺序限制能综合全部信息。图像生成用 causal是因为图像本身就得按顺序画。一句话记住画调用因果执行用全看。六、两阶段训练数据从哪来CoT-VLA 的训练数据分两类这是它数据效率高的关键机器人演示数据Dr带动作标注的真机/仿真轨迹用来学图像→动作。无动作视频Dv比如 Something-Something V2、EPIC-KITCHENS-100 这类只含视频、没有机器人动作标签的数据。第二类是神来之笔——互联网上无动作视频海量且免费模型可以用它们专门练图像预测能力而不必为每个任务采集昂贵的机器人演示。论文在 Open X-Embodiment 等机器人数据上预训练再混入视频数据最终在 LIBERO 上平均成功率81.13%OpenVLA 微调版约 76.5%真实机器人任务比 SOTA VLA提升约 17%仿真基准提升约 6%。七、伪代码把流程串起来示意下面这段是逻辑示意不是论文原码用来把前面几节连成一条可执行的线# 示意CoT-VLA 单次推理简化版 def cot_vla_step(current_image, language_cmd, model): # 阶段 A生成子目标图像因果注意力256 图像 token subgoal_tokens model.generate( inputs[current_image, language_cmd], modalityimage, # 产出图像 token attentioncausal, # 自回归逐 token num_tokens256 ) subgoal_image decode_image(subgoal_tokens) # 阶段 B基于全部上下文生成动作 chunk全注意力 action_chunk model.generate( inputs[current_image, language_cmd, subgoal_image], modalityaction, # 产出动作 token attentionfull # 能看到前面所有上下文 ) return action_chunk, subgoal_image训练时则是两路 loss 一起优化图像重建 loss练子目标生成 动作回归 loss练动作共享同一个 LLM 主干。八、代价与局限诚实版别被亮点晃晕论文自己列了三个硬伤推理慢约 7 倍阶段 A 要先生成 256 个图像 token动作才动得了。动作 chunk 大小为 10 时整体速度大约降到原来的 1/7。图像质量不如扩散模型自回归生成的图像画质天然弱于扩散模型Stable Diffusion 那类。动作可能不连续动作分块action chunking在 chunk 边界处偶尔断档影响平滑度。这三点恰恰是后续工作的突破口——比如 ReconVLA 用重建替代生成来躲开销方向不谋而合。九、带走的三句话CoT-VLA 的本质 把 LLM 的思维链从文字搬成了像素。混合注意力是工程精髓图像生成要因果动作预测要全看。无动作视频是性价比最高的数据杠杆——不用标动作也能练脑子。写在最后拆完你会发现CoT-VLA 并不神秘一个能出图的 LLM加一段先画目标再动手的流程再加一套混合注意力。它的价值不在某个模块多新而在于第一次把先想后做做成了可端到端训练的系统。聊聊你觉得先生成子目标图像这条路值不值得付出 7 倍的推理速度还是更看好 ReconVLA 那种重建确认的轻量路线评论区告诉我下一篇我就拆 ReconVLA 的内部机制。