过去一年里世界模型几乎是 AI 圈出现频率最高的词之一。视频生成项目用“预测下一帧”来证明模型理解了物理规律强化学习团队拿它当模拟器降低试错成本机器人方向拿它做操作规划。但如果你把这些场景放在一起看会发现一个明显缺口几乎所有世界模型都在回答“下一个画面会怎样”“物体下一时刻的位置在哪里”几乎没有模型认真回答“这个智能体接下来想干什么”。牛津和新加坡国立大学相关方向提出了一个更进一步的命题下一代世界模型很可能不是更大的视频预测器而是“心智世界模型”——一个既能建模物理规律也能建模其他智能体信念、欲望和意图的模型。这个转向不是把训练集从网络视频换成社交数据而是在重新定义“世界”这个概念本身。物理世界只是“世界”的最表层真正让人工智能系统具备社会协作能力、长期自主决策能力和安全交互能力的那部分“世界”是看不见的。所以今天不聊泛泛的趋势想把话题收拢到几个具体问题心智世界模型和现有世界模型到底差在哪它的落地价值为什么不是锦上添花以及作为工程师和研究者今天可以怎么开始验证它。后面的内容不打算评价某一个具体模型而是把这条技术路线摊开来看。1. 先看一个缺口世界模型可能漏掉了最重要的“世界”1.1 现在被反复提到的世界模型到底在建模什么先说什么是世界模型。一个比较容易被接受的描述是智能体在内部建立一个关于外部环境运行规律的模型并且用这个模型来预测未来的状态帮助自己做决策。它和单纯的大语言模型最大的区别在于大模型更多是在学习语言符号之间的共现和逻辑模式而世界模型强调对时空、因果、连续状态的预测。最简单的一个场景是你在一个强化学习环境里训练一个机器人机器人如果知道“轮子往前走墙会挡住它”就可以在行动前做规划而不是撞墙之后才学乖。这个“知道”本质就是内建了一个世界模型。很多实际工作也确实展示出了这种能力输入一段视频模型预测接下来几帧画面输入一个操作动作模型模拟出物体的位移在虚拟环境里模型学习状态转移函数。但这里有一个值得停下来思考的问题这些模型预测的是“实体状态”不是“行为意图”。它能预测小球继续往前滚不代表它能预测一个人停下来是想让路还是想拍照。它能把路上行人的下一帧位置预测得很准但它不明白这个行人为什么掏出手机、为什么突然放慢脚步、为什么朝马路对面挥手。注意我们经常把“预测准确”和“真正理解世界”画上等号。但世界模型的核心价值不是让预测更逼真而是让系统在未见过的场景里也能做出合适的决策。1.2 物理世界的预测能力不等于对世界全部的理解当前世界模型的主要考核指标集中在预测误差上。视频模型看 PSNR、SSIM、LPIPS强化学习模拟器看状态转移误差机器人模型看操作成功率。这些指标衡量的都是“物理世界”的表层一致性。问题在于真实世界里大量影响决策的因素都不在物理层。比如你在走廊里遇到一个朝你走来的同事你不仅要预测他的身体轨迹还要判断他是不是停下来了、是不是想和你说话、是不是没看到你。物体不会因为“看起来像在犹豫”而改变轨迹但人会。心智状态不是物体的属性而是智能体之间的软性约定。如果世界模型只学习物体的物理规律它面对复杂问题时就会像一个只会看路不看人的自动驾驶系统交通标志都认得但无法预判其他驾驶员会不会变道、行人会不会突然停下来打电话。换句话说它缺的不是算力而是对“另一个智能体的内部状态”的建模能力。2. “心智世界模型”到底新在哪里把意图当成建模对象2.1 从“观察行为”到“解释行为”心智理论进入 AI在认知科学里心智理论指的是推知他人心理状态的能力。小孩子大约在四岁左右开始明白“别人知道的可能和我知道的不一样”然后才能解释为什么别人会做出奇怪的选择。这个能力是人类社会协作的基础。“心智世界模型”这个方向的直接动机就是把这种能力放进人工智能系统里。它要解决的核心问题并不是“下一帧长什么样”而是“这个观察到的行为背后藏着什么样的信念、欲望和意图”。比如两个人同时走到一扇门前一个人停下来另一个继续走。物理预测器只能看到位置变化心智世界模型需要回答停下来的人是不是在等对方先进去继续走的人是不是没有看到对方这个区别很重要因为很多高级决策不是建立在对物理状态的预测上而是建立在对别人意图的判断上。机器人如果要和人协作必须判断人的意图Agent 如果要和其他 Agent 谈判必须知道对手的偏好自动驾驶如果要安全地汇入车流必须预判其他司机的下一步动作。2.2 物理循环和心智循环需要同时转把这个想法拆成系统结构可以理解得更清楚。一个完整的心智世界模型至少包含两个循环。第一个是物理循环。这是现有世界模型做得已经很成熟的部分观测到环境状态编码成内部状态表示预测下一个环境状态再根据目标选择动作。这个循环负责处理空间、时间、物体运动、物理约束。第二个是心智循环。它的输入仍然是观测信息但输出的不再是一帧图像而是其他智能体的心智状态他注意到了什么他的目标是什么他下一步会选择什么动作甚至他知道些什么、不知道些什么。这个循环把“他人”当成一个需要建模的系统而不是环境里的一堆障碍物。两个循环不是分开跑的。机器人看到一个人停下来物理循环负责算出这个人的位置距离自己多远心智循环负责判断“他停下是为了让我先过还是他看到了感兴趣的东西”然后两个循环的结果一起进入决策器。如果只有物理循环系统最多做到减速避让有了心智循环系统才能做到恰当地交互比如稍微往前一步而不是停在原地僵持。2.3 心智世界模型不等于“大模型具备心智”现在谈到“AI 有心智”很多人会联想到大语言模型是不是有了某种内在认知能力。心智世界模型和大模型讨论的其实不是一个层面。大模型有关心智的讨论更多是在问模型是否从文本模式中涌现出类似心理推测的能力。这种能力通常是被动的、隐式的取决于训练数据里有多少关于“他人想法”的描述。你问它“这个人为什么会这么做”它能给出合理的解释但这不意味着它在决策闭环中会主动使用这种推测来改变自己的行为。心智世界模型则要把心智状态变成显式的建模对象。它需要明确地把“信念”“意图”“注意力”作为预测目标可能需要单独的状态表征、独立的数据标注以及专门的评估指标。你可以把它理解成不只是让模型会输出一个像样的句子而是让模型能够在决策闭环里因为“预判了别人的意图”而采取一个不同的动作。一个比较容易被误解的点心智世界模型不是说模型真的拥有意识或情感它只是在系统层面把“他人可能怎么想”当作一个可计算、可预测、可干预的对象。这个区别在做安全评估时很重要。3. 如果真能落地它会在这些场景里产生质变3.1 机器人不是避开障碍物而是避开“正在犹豫的人”传统机器人运动规划大部分时间在解决避障问题。激光雷达看到一个点云对应一个“障碍物”规划器绕开它。但这个框架在面对人时天然不够用因为人不是静态障碍物人有行为意图而且人的意图可以通过姿态、视线、步伐节奏传递出来。如果机器人具备心智世界模型它在走廊里遇到一个人可以做到先观察人的姿态和视线方向推断对方是不是注意到了自己再根据对方手里是否拿了重物、是否放慢速度推断对方会不会让路最后再决定机器人是继续直行、靠边等待还是主动从侧面通过。这些动作在人类看来很简单但背后要处理的变量很复杂。它要求系统把“人是活的”这件事当成核心建模前提而不是把它压成一个避障函数。否则机器人只能在“停下来等”和“硬挤过去”之间二选一永远学不会从容地让路。3.2 AI Agent从单智能体决策到多智能体协作另一个重度受益场景是多智能体协作。现在很多 Agent 系统是单智能体在复杂工具之间做规划用户给目标Agent 调工具、生成结果。一旦把场景改成“多个 Agent 同时存在”比如在一个工作流里有负责不同职能的 Agent它们之间如果只能通过消息文本进行显式沟通效率会很低而且很容易在一步关键信息没说清楚时全盘卡住。有了心智世界模型一个 Agent 可以保持对其他 Agent 的“隐含状态估计”它应该已经知道什么它可能还不知道什么它下一步会优先做什么。这样的系统可以更早地发出协作请求或者自动补位而不是每次都要等一个显式消息。这个方向还延伸到市场模拟、谈判、交通流控制等场景。多个智能体共享一个物理环境同时各自拥有不完全相同的观测信息和目标这正是心智世界模型最合适的实验场。3.3 自动驾驶和“社会交通”一个经常被低估的场景是自动驾驶。当前主流自动驾驶系统对交通参与者的建模更多停留在运动轨迹预测层面这个行人会继续直走还是转弯这辆车接下来会不会换道。这些预测能力已经很强但仍然是“把对方当成物理对象”在预测。如果加入心智维度系统就需要考虑更多社会性信息前车突然减速可能是因为前方有紧急情况也可能只是驾驶员在犹豫路线。后车频繁按喇叭说明它希望我们尽快启动。路口车辆缓慢移动可能是对方在让行也可能是在示意我们先行。这类判断不是靠像素级别的预测就能解决的它需要系统具备类似人类司机的“路感”。心智世界模型如果能在这些场景里工作自动驾驶的决策会从“功能安全”进一步走向“社会安全”。4. 从论文方向到工程实现至少要跨过五道坎这部分的描述不会去假设某个具体模型已经成功而是把工程上会遇到的问题按顺序摊开。你可以把它当成一个排查清单后面踩坑时可以对照着看。4.1 第一道坎心智状态怎么编码物理状态用坐标、速度、角速度、图像特征都能表示但“信念”怎么表示“意图”怎么表示“注意力”怎么表示比较常见的思路是定义一组显式变量比如把其他智能体的信念建模成“对某事实是否知道的概率”把意图建模成“目标集合上的分布”把注意力建模成“对当前视野中不同对象的注意力权重”。这些变量要能和神经网络的特征向量连接起来形成可微的计算路径。难点在于心智状态天然不是完全可观测的。你只能通过行为、表情、语言、上下文去推断不能像测物体位置一样直接测出它的“真实目标”。所以编码方式必须支持不确定性不能过早地把估计压成一个确定性答案。4.2 第二道坎数据从哪里来训练心智世界模型需要大量“行为-意图-信念”三元组数据。也就是说你要有一个人或一个智能体的行为记录还要标注他当时的真实目标和信念。这种数据在真实世界里非常贵很难大规模采集。相对可行的路径是先做仿真。在多智能体仿真环境里设置不同目标的个体记录它们的行为并且能从环境中直接读出它们的目标和观测范围。这样模型可以学习“从行为反推意图”的映射。然后再迁移到真实世界数据上用少量人类标注做微调。如果你在准备数据有一个原则比较重要不要只存“最终行为”要存观测信息。模型需要知道某个智能体当时看到了什么、没看到什么否则它无法学习“对方因为不知道某个信息所以做出了错误选择”这类因果。4.3 第三道坎预测目标怎么定世界模型通常用“下一帧像素”或者“下一状态误差”作为训练目标。心智世界模型如果也这么做很容易退回成物理预测器。真正需要预测的至少包括下面几类其他智能体的下一步动作。其他智能体当前的目标估计。其他智能体自身对环境的信念变化。整个交互过程中双方行为如何互相影响。这些目标有的适合作为分类任务有的适合作为回归任务有的适合通过对比学习间接建模。实际选择要先根据任务场景定没有统一的配方。比较稳妥的做法是同时保留两组目标一组面向行为层面的预测一组面向意图层面的推断再根据任务需求调整损失权重。4.4 第四道坎验证环境够不够需要一个能同时提供物理复杂度和心智复杂度的环境。纯静态场景不行因为缺乏行为变化纯群体仿真又可能太卡通不容易迁移到真实世界。比较合适的验证环境应该具备几个条件可以设置多个智能体。每个智能体有独立的目标和观测范围。环境能够记录“别人怎么看它”的信息作为调试输出。任务本身要能被分解成多个连续决策步骤。如果环境只奖励最终结果不奖励过程推断心智预测能力很可能学到的是表面捷径最后表现会非常虚。所以评估时除了任务回报还要单独考核预测出的意图和真实意图是否一致。4.5 第五道坎错误归因怎么办心智世界模型一旦被放进真实系统最危险的情况不是它预测不准而是它会“自信地误解别人”。比如机器人把一个人短暂的驻足理解成“他想让路”结果主动通过但那人其实只是停下来系鞋带。这类错误在人类交互中也存在但人类通常会用更保守的假设来规避风险。心智世界模型需要显式引入不确定性估计和代价矩阵如果误解他人的代价很高就应该在模糊情况下采取更保守的动作或者主动询问确认而不是强行从观察结果里推断。工程上的建议把心智预测结果当成一项带置信度的参考信息而不是一个确定事实。决策器要能区分“我有把握”和“我猜的”。可以整理成一个简单表格方便对照难题本质较稳妥的应对思路心智状态编码状态不可完全观测显式概率变量支持不确定性数据不足真实标注昂贵仿真生成 真实数据微调预测目标模糊容易退回物理预测分层设置动作、意图、信念目标验证环境缺失单智能体环境不够多智能体、可记录观测信息的环境错误归因过度拟人化不确定性估计 保守决策策略5. 给研究者和工程师的落地建议先跑通一个“小心智闭环”如果这个方向吸引了你的兴趣其实没有理由等项目完全成熟。从工程上可以先从最小规模验证开始。思路很简单把“推断意图”和“改善决策”放进同一个闭环而不是分开做。5.1 一个可以立刻开始的最小实验最简单的实验场景是二维网格世界。放两个智能体其中一个带一个隐藏目标另一个不直接知道对方目标只能通过对方的移动轨迹来推断。你要训练一个“心智预测器”输入观测历史和对方的部分可见状态输出“对方接下来最可能去哪里”。然后把这个预测器接入第一个智能体的决策中当预测结果显示对方会先到达一条窄路时第一个智能体可以选择绕路而不是直接挤进去。这个实验规模不大但已经能检验一个完整链条观测、推断意图、预测行为、改善决策。训练目标组合变化示意如下不是完整代码输入: - 当前 Agent 的历史观测 o_1:t - 对方可见轨迹 h_1:t 输出: - 对方意图分布 P(g) - 对方下一步位置分布 P(a_t1) 损失: L 意图损失 行为预测损失 BCE(P(g), g_true) CrossEntropy(P(a_t1), a_t1_true)这里的关键是同时优化意图损失和行为预测损失。如果只优化行为预测模型即使学到了意图信息也可能选择图省事直接用运动趋势硬拟合不会真正建立心智层面的表征。在实现时还有几个细节值得注意不要只让模型预测“下一步位置”要让它同时预测“对方目标可能是什么”。这样可以观察模型是否学到语义层面的意图而不只是运动趋势。环境里要记录真实目标作为评估标签。只有拿到真实标签你才知道预测器学到的是不是表面模式。先控制环境复杂度再做扩展。一上来就放很多智能体很难判断预测误差来自模型能力还是环境噪声。5.2 如何评估模型的“心智预测”能力任务回报不能完全说明问题因为系统可以通过超级保守的策略“蒙混过关”。比如机器人一直停在原地不动既不会撞到人也不会和人发生冲突但任务回报也很低。所以比较有效的做法是单独设计心智预测任务。评估时可以分成几个维度意图预测准确率模型预测的目标和真实目标一致的概率。信念推断能力当对方没有看到某个信息时模型能不能预测出对方会表现得“像不知道一样”。行为预测的校准度模型对“对方下一步动作”预测的置信度是否和真实概率匹配。决策收益加入心智预测后任务成功率、碰撞次数、协作效率是否改善。如果要长期研究建议固定一套评估流程每次改动模型后在同一个环境里跑。否则很难积累出可对比的结论。训练日志里也不要只记 loss要同步记录意图预测准确率和行为预测准确率这两条曲线方便判断模型是“真的在学心智”还是“只是在拟合行为”。5.3 有必要进行的边界检查心智世界模型不是万能钥匙。在投入之前先判断场景是否需要它如果目标环境里只有一个决策主体其他对象都是静态障碍物那么不需要心智世界模型物理世界模型就够。如果环境里有多个主体但它们的行动对当前系统没有影响也不需要建模意图。如果环境里主体的行为高度依赖对其他主体的预测这时候心智世界模型才是值得投入的方向。不要为了“听起来高级”而硬塞意图建模。它带来的额外复杂度包括隐私风险、算力开销、训练数据成本都是不可忽视的。从工程策略上更稳妥的推进方式是先在一个明确需要意图预测的闭环里验证收益再决定是否推广。6. 我的判断下一代世界模型拼的是预测“看不见的东西”把前面的讨论收拢回一个判断下一代世界模型的竞争点很可能不是画面预测的逼真程度也不是环境模拟的物理精度而是模型能不能理解“另一个智能体眼中看到的世界”。牛津和新加坡国立大学相关研究方向提出的心智世界模型本质上是在为人工智能补上一块过去长期缺席的能力拼图。物理世界模型解决的是“世界怎么运行”大语言模型解决的是“人类语言如何描述世界”心智世界模型要解决的是“其他智能体如何理解世界”。这三者不是替代关系而是共同构成一个更完整的学习和决策系统。6.1 心智世界模型的长期价值如果你在工业界做应用可以把这个方向理解为一个新的技术杠杆它能帮助机器人、自动驾驶、多智能体系统摆脱“把一切当障碍物”的局限真正进入社会性场景。如果你在学术界做研究这是一个既能做扎实实验又有长期深挖价值的主题。但它带来的一个更深层变化是让我们重新思考“世界”的定义。过去我们谈世界模型默认“世界”是一堆实体、空间、时间、物理规则。心智世界模型提醒我们对人类而言有意义的“世界”永远包含了他人。一个人看到的世界不只是地理空间里的物体集合还是一张由他人意图和信念组成的关系网络。AI 如果要进入人类生活它需要的不只是物理模拟能力还需要这张关系网络的建模能力。6.2 下一步最值得做的事当前阶段心智世界模型还是一个早期方向不是成熟产品。与其等一个完美框架落地不如先从带有隐藏目标的网格世界实验开始亲手验证一次“从观察行为到推断意图再到改善决策”的闭环。这个闭环一旦被跑通你对它的理解会超过任何一篇论文摘要。真正难的不是预测物理世界而是理解另一个智能体眼中的世界。后者会决定未来的 AI 是只会聪明地做事还是能聪明地与人同行。