基础模型foundation models和博弈论的交叉最近在研究社区里讨论度上升得很快。这个方向最值得关注的不是“模型会互相博弈”这种泛泛说法而是这个判断多个基础模型智能体在无法读取对方内部目标时可以通过相似性推理similarity inference推断彼此的策略倾向和收益偏好从而在重复博弈中形成理性合作。合作不靠事先约定也不靠把模型完全开放只靠可观察的行为输出推断出“我们是不是在解决同一类问题、持有相似的目标偏好”。这个思路对三类人最有价值正在搭多 Agent 协作系统的人研究 AI 对齐与激励机制的人以及想用博弈论分析大模型行为但找不到落地入口的人。下面按问题背景、核心机制、最小实验、指标判断、常见坑、边界顺序拆开讲。1. 先搞清楚这个方向在解决什么实际问题1.1 多智能体协作里的真实困境先看一个很常见的场景一个 LLM 智能体体系里规划 Agent 负责拆任务执行 Agent 负责干活质检 Agent 负责挑毛病。三个 Agent 各有一套 prompt甚至可能基于不同的模型。它们之间的协作方式通常是互相传文本谁也不知道对方内部到底在想什么。这时候会出现三个非常具体的问题。第一是重复冲突。规划 Agent 说“先做 A 再做 B”执行 Agent 认为“B 必须先于 A”双方各自坚持最后任务卡死。这种冲突不是能力不足而是双方缺少对彼此目标的可见性。第二是通信爆炸。为了解决上面的问题系统设计者会让每个 Agent 把自己的意图、约束、推理过程全部写出来。结果每个 Agent 都在输出长篇说明Token 消耗直线上升任务还没跑完成本先爆了。第三是信任脆弱。即便双方都表达了合作意愿一方也不知道对方会不会在中途改变策略。最安全的选择反而是保留资源、不完全配合。一旦进入这种状态整个系统就会滑向“囚徒困境”式的低效均衡。这三个问题本质上同一个信息不完整而且没有机制把信息缺口补上。1.2 博弈论为什么能接住这个问题博弈论天然适合描述“多个理性主体在相互影响下做决策”的场景。玩家、策略、收益、纳什均衡这些概念都能对应到多智能体系统上Agent 是玩家可选择的动作是策略任务完成度是收益稳定状态是均衡。但经典博弈论有一个很强的前提收益矩阵通常被认为是已知的。囚徒困境里双方都知道“合作-合作”的收益是 3“背叛-合作”的收益是 5等等。可基础模型是黑盒我们没法给每个模型硬编一个公开收益矩阵。它内部的目标函数、偏好分布、推理习惯都是不可直接观测的。这个方向的新意在于不假设收益矩阵已知而是把“对方是谁、对方想要什么”当成需要通过行为去推断的东西。每个智能体先通过相似性推理估计自己与对方的偏好重叠程度再决定合作还是背叛。这样就把一个信息不完全的博弈改写成“推断 决策”的循环过程。这也是为什么这套理论能落地到基础模型场景模型虽然不透明但它的动作、输出、拒绝方式、选择偏好都是可观测的这些就足够支撑相似性估计。注意这个思路不等于“把所有模型都变成好人”。它的目标更实际——在信息有限的前提下让合作比背叛更划算从而让理性智能体主动选择合作。2. 相似性推理把“猜对方意图”变成可计算机制2.1 完全信息假设在基础模型场景下不成立很多人第一次接触博弈论时都是从囚徒困境的收益矩阵开始的。矩阵里把四种情况的结果写得清清楚楚玩家只需要做一次收益最大化计算。问题是这个场景假设了完全信息——所有玩家的可选动作和收益都公开。基础模型场景完全不满足这个假设。两个 Agent 交互时它们各自的内部表征是几十层 Transformer 里算出来的高维向量外部系统根本读不到。可观测的只有输出文本、动作选择、置信度、拒绝频率、延迟、输出风格。这些信号有噪声、有偏差而且对方可能故意给出误导性信息。所以这里不能用经典博弈论里“已知对手类型”的模型得换成部分可观测博弈的视角每个 Agent 对对方都有一个信念而这个信念需要不断通过行为证据来更新。2.2 相似性推理如何导向理性合作相似性推理的核心逻辑很直接。在同一个任务上下文里如果 Agent A 观察到 Agent B 的一系列行为与 A 自己偏好的行为高度相似A 就可以推断B 的目标结构和自己的目标结构可能有较大重叠。这个推断一旦成立两个收益就同时出现。第一可预测性提升。既然 B 的偏好和 A 相近A 可以用自己的决策逻辑去预测 B 下一步会怎么做不需要额外的通信。第二背叛的吸引力下降。两个偏好高度相似的智能体如果互相背叛失去的是一次确定性较高的共同收益而如果合作双方都能拿到更高的联合收益。理性计算下合作会逐渐占优。这个过程放到重复博弈里会更明显。第一轮双方试探第二轮根据相似度判断是否继续合作第三轮以后形成稳定联合策略。每轮结束时相似度估计都会根据最新行为被更新一次这就等价于做了一次贝叶斯更新从“完全不知道对方类型”逐步收敛到“对方与我的偏好重叠度是多少”。值得强调的是这个机制产生的是条件性合作。相似度高就合作相似度低就保持警惕甚至背叛。它不要求一方单方面牺牲也不要求中央协调者干预更不依赖模型之间事先签订的协议。这就是标题里说的“理性合作的新路径”。3. 从理论到实验一个最小可复现的协作实验怎么搭3.1 实验环境和基础准备要验证这个思路不需要一上来就搭大型多智能体平台。先把两个智能体的重复博弈跑通再做扩展。环境方面Python 就够。可以选用两种实现方式调外部大模型 API或者在本地跑一个开源模型。如果只是想先验证机制用 API 会省去很多环境问题如果想要完全控制和低成本复现本地模型更合适。我自己建议第一轮测试用 API 加固定 seed保证结果可重复。硬件上没有太高要求只做机制验证CPU 环境就够内存 16GB 以上。本地跑 7B 参数模型建议显存 8GB 起步实际要看量化方式和上下文长度。本地跑 14B 以上模型显存建议 16GB 以上同时关注内存带宽。除了环境还要准备三样东西一个博弈场景、一个可观测特征提取器、一个相似度函数。3.2 最小实验流程四步跑通第一步定义博弈。最简单的选择是重复囚徒困境。两个 Agent动作集合都是 {合作, 背叛}单轮收益矩阵用经典设置双方合作各得 3 分双方背叛各得 1 分一方背叛一方合作时背叛者得 5 分、合作者得 0 分。第二步定义可观测特征。每个 Agent 每轮输出一个动作同时还可以输出一段简短理由。我们可以从理由和动作中提取向量表示作为“行为特征”。第三步做相似性推理。把两个 Agent 最近 N 轮的行为特征分别映射到同一个嵌入空间计算余弦相似度。这个相似度就是“偏好重叠程度”的代理指标。第四步设计决策规则。一个最简单的规则是相似度超过阈值就合作低于阈值就背叛。然后让两个 Agent 跑 30 到 50 轮记录每轮动作和累计收益。一个最小化的决策伪代码如下# 伪代码单轮博弈中的相似性推理 def similarity_between(agent_a, agent_b, history): emb_a encode(agent_a.recent_actions) emb_b encode(agent_b.recent_actions) return cos_similarity(emb_a, emb_b) def decide(agent, similarity_score, threshold): if similarity_score threshold: return cooperate return defect for round in range(50): score similarity_between(agent_a, agent_b, history[-5:]) action_a decide(agent_a, score, threshold0.7) action_b decide(agent_b, score, threshold0.7) payoff_a, payoff_b game.payoff(action_a, action_b) history.append((action_a, action_b, payoff_a, payoff_b))这里不要急着把决策规则改成复杂模型。先用简单的阈值规则确认相似度信号真的能把合作与背叛区分开再考虑用强化学习或策略学习替代阈值。3.3 核心参数与推荐起点参数设置直接决定你能不能观察到合作行为。以下是一组适合起步的参考值参数推荐起点说明相似度阈值0.7太高则几乎不合作太低则容易被剥削推理窗口最近 5 轮窗口太短噪声大太长反应慢博弈轮数30 到 50 轮需要足够轮数让相似度估计收敛温度参数0.7 左右保留一定探索性又不至于完全随机单轮收益经典囚徒困境矩阵方便与基线对比通信预算每轮最多 1 个动作 1 段简短理由限制通信体现相似性推理的价值这几个参数之间是联动的。阈值定得太高两个本质合作的 Agent 也可能因为一次输出异常而进入互相背叛的螺旋阈值定得太低爱占便宜的 Agent 就会伪装成合作者反复收割。通常我会先跑一组网格阈值从 0.5 到 0.9每 0.1 一档每档跑 50 轮看合作率的变化曲线。注意不要一上来就开最大并发也不要同时验证多个变量。先用一条样例确认相似度计算、决策规则和日志都正常再批量跑参数组合。4. 结果怎么判断哪些指标说明合作真的出现了4.1 建议记录的指标判断实验是否验证了“相似性推理带来理性合作”不能只看最后一句“合作率 80%”。要记录一套完整指标。指标定义怎么判断合作率双方都选择合作的轮次占比明显高于随机基线平均收益两个 Agent 各自的单轮平均收益是否比“双方总是背叛”更高背叛率至少一方选择背叛的轮次占比早期高、后期低比较健康相似度分数每轮相似度均值与方差方差太大说明信号不稳定收敛轮数合作率稳定在阈值以上的最早轮次越小说明推理效率越高通信量每轮实际消耗的 Token 或字段数对比有无相似性推理的差异这些指标要写进结构化日志不要只打印在终端里。后面排查问题时日志是所有判断的起点。4.2 三个判断标准有了指标之后判断“理性合作是否真的出现”我一般看三个标准。第一合作率要显著高于基线。基线可以是两个随机策略 Agent或者两个总是背叛的 Agent。如果相似性推理机制有效合作率应该在 60% 以上而不是徘徊在 30% 附近。第二收益要实现帕累托改进。也就是说至少一个 Agent 的收益比“双方总是背叛”的场景更高且另一个 Agent 的收益不低于该场景。如果出现一个 Agent 收益暴涨、另一个暴跌那说明不是合作而是剥削。第三结果要稳定。最后 10 轮的合作率应该保持在较高水平不能出现前面合作、后面突然大面积背叛的情况。如果合作率呈周期性震荡说明相似度推理或决策规则存在滞后问题。如果这三个标准都不满足先不要急着调模型回头检查特征提取和相似度计算。5. 最容易踩的坑和排查顺序5.1 相似性度量失效这是最常见的坑。表面看两个 Agent 输出了相似的文本但它们的目标可能完全相反反过来两个 Agent 风格差异很大行为却高度一致。直接用表面文本相似度作为偏好重叠的代理结果会非常不稳定。排查时先看相似度分数的分布。如果所有轮次的相似度都挤在 0.5 附近说明这个特征没有区分度。这时可以换成行为序列相似度把最近 N 轮的动作序列当作一个整体做对齐匹配而不是只看单轮输出。还要检查嵌入模型的选择。小模型的嵌入空间可能区分度不够换成更大或专门对齐过的嵌入模型通常有改善。更稳的做法是同时使用多个信号比如动作选择、置信度、输出长度、拒绝频率再做加权融合。5.2 通信成本不降反升这个方向的一个重要卖点是“减少通信”但实际实现容易跑偏。如果每个 Agent 为了推断相似度把对方所有历史输出都读一遍通信成本反而比直接协商更高。解决办法是限制推理上下文。相似度计算只基于最近 N 轮的摘要而不是原始全文。可以先用一个轻量摘要模型把每轮输出压缩成固定长度向量再做相似度计算。这样通信成本从“传输全文”降为“传输向量”。如果通信量还是高检查是不是决策规则频繁需要额外信息。阈值规则不需要额外通信而基于强化学习的策略可能每轮都要重新采样这时就要评估收益增加是否值得。5.3 过拟合到固定对手两个 Agent 在固定环境下跑了几百轮之后会养成针对对方特定行为的合作习惯。一旦更换对手合作率可能瞬间崩盘。这说明学到的不是通用合作策略而是对某个对手的过拟合。避免方法有三条训练时定期轮换对手随机中断合作观察恢复速度以及在相似度计算中加入置信度信息。对方行为与历史模式偏差过大时即便相似度分数高也要降低合作概率。5.4 排查顺序遇到实验不收敛或合作率异常按这个顺序排查先看收益曲线确认问题出现在收敛前还是收敛后。再看相似度分数分布判断信号是否有效。看动作分布确认是不是只有一方在单方面合作。查看日志里的输入输出记录排除 prompt 错误、路径错误、权限异常等低级问题。最后调整参数优先动推理窗口和阈值不要同时动多个参数。很多看似“模型不合作”的问题最后都是相似度信号没算对或者日志根本没记录。6. 边界、适用场景和后续延伸6.1 适合谁用这个方向对以下场景的参考价值最大。多 Agent LLM 系统设计当多个 Agent 需要在有限通信下协调任务时把“要不要信任对方”建模成相似度估计可以降低 Token 消耗和协调成本。对齐与激励机制研究如果要通过改变收益函数来引导模型合作相似性推理提供了一种度量“当前模型是否真的对齐”的可行路径。安全与审计通过观察模型之间的合作信号可以筛选出偏好高度异常、偏离共同目标的模型。教学和实验这个课题非常适合做成课程实验数据结构清晰、参数可调、结果可视化直观。6.2 不适合什么这个思路不是万能药。单次博弈中双方没有机会建立相似度估计合作依然很难自然产生。面对会动态改变策略的对手相似性推理的滞后性会被放大这时需要引入对手建模和预测而不是只靠相似度。还有一个必须说清楚的边界相似性不等于真实对齐。两个模型输出相似可能是因为训练数据重叠也可能是因为它们在模仿外部风格而不是真的共享目标。相似性推理只能降低不确定性不能证明价值对齐。另外相似性的计算本身也有成本。如果嵌入模型很大特征提取会成为新的性能瓶颈。低配环境能跑通实验不代表适合生产环境的在线推理。6.3 接下来值得尝试的方向两条延伸路径比较靠谱。一是层级化合作。由一个协调者 Agent 先推断下层多个 Agent 的相似度矩阵再根据这个矩阵做任务分配。这比所有 Agent 两两互通信息更高效也更接近真实组织协作方式。二是把相似度分数作为反馈信号引入收益函数。不是简单地用阈值决定合作或背叛而是让相似度分数参与收益加权让 Agent 学会既关注即时收益也关注长期可合作性。这样合作策略会平滑很多不会因为单轮噪声而剧烈波动。对于想自己复现的人来说我建议先把单对 Agent 的重复博弈跑稳确认相似度信号真正有用再叠加层级协调或机制设计。这一步走稳了后面的大规模协作实验才有解释力。踩过一遍之后我最大的感受是这类理论方向的落地价值不取决于它听起来多高级而取决于你能不能把相似性度量、决策阈值和收益记录这三件事先跑稳。很多问题不是模型不会合作而是相似性信号没设计好或者日志缺失导致根本定位不到原因。先把最小实验做到可复现、可解释、可对比再谈更多智能体的协作和更复杂的机制。 基础模型与博弈论交叉：相似性推理如何促成多智能体理性合作
基础模型foundation models和博弈论的交叉最近在研究社区里讨论度上升得很快。这个方向最值得关注的不是“模型会互相博弈”这种泛泛说法而是这个判断多个基础模型智能体在无法读取对方内部目标时可以通过相似性推理similarity inference推断彼此的策略倾向和收益偏好从而在重复博弈中形成理性合作。合作不靠事先约定也不靠把模型完全开放只靠可观察的行为输出推断出“我们是不是在解决同一类问题、持有相似的目标偏好”。这个思路对三类人最有价值正在搭多 Agent 协作系统的人研究 AI 对齐与激励机制的人以及想用博弈论分析大模型行为但找不到落地入口的人。下面按问题背景、核心机制、最小实验、指标判断、常见坑、边界顺序拆开讲。1. 先搞清楚这个方向在解决什么实际问题1.1 多智能体协作里的真实困境先看一个很常见的场景一个 LLM 智能体体系里规划 Agent 负责拆任务执行 Agent 负责干活质检 Agent 负责挑毛病。三个 Agent 各有一套 prompt甚至可能基于不同的模型。它们之间的协作方式通常是互相传文本谁也不知道对方内部到底在想什么。这时候会出现三个非常具体的问题。第一是重复冲突。规划 Agent 说“先做 A 再做 B”执行 Agent 认为“B 必须先于 A”双方各自坚持最后任务卡死。这种冲突不是能力不足而是双方缺少对彼此目标的可见性。第二是通信爆炸。为了解决上面的问题系统设计者会让每个 Agent 把自己的意图、约束、推理过程全部写出来。结果每个 Agent 都在输出长篇说明Token 消耗直线上升任务还没跑完成本先爆了。第三是信任脆弱。即便双方都表达了合作意愿一方也不知道对方会不会在中途改变策略。最安全的选择反而是保留资源、不完全配合。一旦进入这种状态整个系统就会滑向“囚徒困境”式的低效均衡。这三个问题本质上同一个信息不完整而且没有机制把信息缺口补上。1.2 博弈论为什么能接住这个问题博弈论天然适合描述“多个理性主体在相互影响下做决策”的场景。玩家、策略、收益、纳什均衡这些概念都能对应到多智能体系统上Agent 是玩家可选择的动作是策略任务完成度是收益稳定状态是均衡。但经典博弈论有一个很强的前提收益矩阵通常被认为是已知的。囚徒困境里双方都知道“合作-合作”的收益是 3“背叛-合作”的收益是 5等等。可基础模型是黑盒我们没法给每个模型硬编一个公开收益矩阵。它内部的目标函数、偏好分布、推理习惯都是不可直接观测的。这个方向的新意在于不假设收益矩阵已知而是把“对方是谁、对方想要什么”当成需要通过行为去推断的东西。每个智能体先通过相似性推理估计自己与对方的偏好重叠程度再决定合作还是背叛。这样就把一个信息不完全的博弈改写成“推断 决策”的循环过程。这也是为什么这套理论能落地到基础模型场景模型虽然不透明但它的动作、输出、拒绝方式、选择偏好都是可观测的这些就足够支撑相似性估计。注意这个思路不等于“把所有模型都变成好人”。它的目标更实际——在信息有限的前提下让合作比背叛更划算从而让理性智能体主动选择合作。2. 相似性推理把“猜对方意图”变成可计算机制2.1 完全信息假设在基础模型场景下不成立很多人第一次接触博弈论时都是从囚徒困境的收益矩阵开始的。矩阵里把四种情况的结果写得清清楚楚玩家只需要做一次收益最大化计算。问题是这个场景假设了完全信息——所有玩家的可选动作和收益都公开。基础模型场景完全不满足这个假设。两个 Agent 交互时它们各自的内部表征是几十层 Transformer 里算出来的高维向量外部系统根本读不到。可观测的只有输出文本、动作选择、置信度、拒绝频率、延迟、输出风格。这些信号有噪声、有偏差而且对方可能故意给出误导性信息。所以这里不能用经典博弈论里“已知对手类型”的模型得换成部分可观测博弈的视角每个 Agent 对对方都有一个信念而这个信念需要不断通过行为证据来更新。2.2 相似性推理如何导向理性合作相似性推理的核心逻辑很直接。在同一个任务上下文里如果 Agent A 观察到 Agent B 的一系列行为与 A 自己偏好的行为高度相似A 就可以推断B 的目标结构和自己的目标结构可能有较大重叠。这个推断一旦成立两个收益就同时出现。第一可预测性提升。既然 B 的偏好和 A 相近A 可以用自己的决策逻辑去预测 B 下一步会怎么做不需要额外的通信。第二背叛的吸引力下降。两个偏好高度相似的智能体如果互相背叛失去的是一次确定性较高的共同收益而如果合作双方都能拿到更高的联合收益。理性计算下合作会逐渐占优。这个过程放到重复博弈里会更明显。第一轮双方试探第二轮根据相似度判断是否继续合作第三轮以后形成稳定联合策略。每轮结束时相似度估计都会根据最新行为被更新一次这就等价于做了一次贝叶斯更新从“完全不知道对方类型”逐步收敛到“对方与我的偏好重叠度是多少”。值得强调的是这个机制产生的是条件性合作。相似度高就合作相似度低就保持警惕甚至背叛。它不要求一方单方面牺牲也不要求中央协调者干预更不依赖模型之间事先签订的协议。这就是标题里说的“理性合作的新路径”。3. 从理论到实验一个最小可复现的协作实验怎么搭3.1 实验环境和基础准备要验证这个思路不需要一上来就搭大型多智能体平台。先把两个智能体的重复博弈跑通再做扩展。环境方面Python 就够。可以选用两种实现方式调外部大模型 API或者在本地跑一个开源模型。如果只是想先验证机制用 API 会省去很多环境问题如果想要完全控制和低成本复现本地模型更合适。我自己建议第一轮测试用 API 加固定 seed保证结果可重复。硬件上没有太高要求只做机制验证CPU 环境就够内存 16GB 以上。本地跑 7B 参数模型建议显存 8GB 起步实际要看量化方式和上下文长度。本地跑 14B 以上模型显存建议 16GB 以上同时关注内存带宽。除了环境还要准备三样东西一个博弈场景、一个可观测特征提取器、一个相似度函数。3.2 最小实验流程四步跑通第一步定义博弈。最简单的选择是重复囚徒困境。两个 Agent动作集合都是 {合作, 背叛}单轮收益矩阵用经典设置双方合作各得 3 分双方背叛各得 1 分一方背叛一方合作时背叛者得 5 分、合作者得 0 分。第二步定义可观测特征。每个 Agent 每轮输出一个动作同时还可以输出一段简短理由。我们可以从理由和动作中提取向量表示作为“行为特征”。第三步做相似性推理。把两个 Agent 最近 N 轮的行为特征分别映射到同一个嵌入空间计算余弦相似度。这个相似度就是“偏好重叠程度”的代理指标。第四步设计决策规则。一个最简单的规则是相似度超过阈值就合作低于阈值就背叛。然后让两个 Agent 跑 30 到 50 轮记录每轮动作和累计收益。一个最小化的决策伪代码如下# 伪代码单轮博弈中的相似性推理 def similarity_between(agent_a, agent_b, history): emb_a encode(agent_a.recent_actions) emb_b encode(agent_b.recent_actions) return cos_similarity(emb_a, emb_b) def decide(agent, similarity_score, threshold): if similarity_score threshold: return cooperate return defect for round in range(50): score similarity_between(agent_a, agent_b, history[-5:]) action_a decide(agent_a, score, threshold0.7) action_b decide(agent_b, score, threshold0.7) payoff_a, payoff_b game.payoff(action_a, action_b) history.append((action_a, action_b, payoff_a, payoff_b))这里不要急着把决策规则改成复杂模型。先用简单的阈值规则确认相似度信号真的能把合作与背叛区分开再考虑用强化学习或策略学习替代阈值。3.3 核心参数与推荐起点参数设置直接决定你能不能观察到合作行为。以下是一组适合起步的参考值参数推荐起点说明相似度阈值0.7太高则几乎不合作太低则容易被剥削推理窗口最近 5 轮窗口太短噪声大太长反应慢博弈轮数30 到 50 轮需要足够轮数让相似度估计收敛温度参数0.7 左右保留一定探索性又不至于完全随机单轮收益经典囚徒困境矩阵方便与基线对比通信预算每轮最多 1 个动作 1 段简短理由限制通信体现相似性推理的价值这几个参数之间是联动的。阈值定得太高两个本质合作的 Agent 也可能因为一次输出异常而进入互相背叛的螺旋阈值定得太低爱占便宜的 Agent 就会伪装成合作者反复收割。通常我会先跑一组网格阈值从 0.5 到 0.9每 0.1 一档每档跑 50 轮看合作率的变化曲线。注意不要一上来就开最大并发也不要同时验证多个变量。先用一条样例确认相似度计算、决策规则和日志都正常再批量跑参数组合。4. 结果怎么判断哪些指标说明合作真的出现了4.1 建议记录的指标判断实验是否验证了“相似性推理带来理性合作”不能只看最后一句“合作率 80%”。要记录一套完整指标。指标定义怎么判断合作率双方都选择合作的轮次占比明显高于随机基线平均收益两个 Agent 各自的单轮平均收益是否比“双方总是背叛”更高背叛率至少一方选择背叛的轮次占比早期高、后期低比较健康相似度分数每轮相似度均值与方差方差太大说明信号不稳定收敛轮数合作率稳定在阈值以上的最早轮次越小说明推理效率越高通信量每轮实际消耗的 Token 或字段数对比有无相似性推理的差异这些指标要写进结构化日志不要只打印在终端里。后面排查问题时日志是所有判断的起点。4.2 三个判断标准有了指标之后判断“理性合作是否真的出现”我一般看三个标准。第一合作率要显著高于基线。基线可以是两个随机策略 Agent或者两个总是背叛的 Agent。如果相似性推理机制有效合作率应该在 60% 以上而不是徘徊在 30% 附近。第二收益要实现帕累托改进。也就是说至少一个 Agent 的收益比“双方总是背叛”的场景更高且另一个 Agent 的收益不低于该场景。如果出现一个 Agent 收益暴涨、另一个暴跌那说明不是合作而是剥削。第三结果要稳定。最后 10 轮的合作率应该保持在较高水平不能出现前面合作、后面突然大面积背叛的情况。如果合作率呈周期性震荡说明相似度推理或决策规则存在滞后问题。如果这三个标准都不满足先不要急着调模型回头检查特征提取和相似度计算。5. 最容易踩的坑和排查顺序5.1 相似性度量失效这是最常见的坑。表面看两个 Agent 输出了相似的文本但它们的目标可能完全相反反过来两个 Agent 风格差异很大行为却高度一致。直接用表面文本相似度作为偏好重叠的代理结果会非常不稳定。排查时先看相似度分数的分布。如果所有轮次的相似度都挤在 0.5 附近说明这个特征没有区分度。这时可以换成行为序列相似度把最近 N 轮的动作序列当作一个整体做对齐匹配而不是只看单轮输出。还要检查嵌入模型的选择。小模型的嵌入空间可能区分度不够换成更大或专门对齐过的嵌入模型通常有改善。更稳的做法是同时使用多个信号比如动作选择、置信度、输出长度、拒绝频率再做加权融合。5.2 通信成本不降反升这个方向的一个重要卖点是“减少通信”但实际实现容易跑偏。如果每个 Agent 为了推断相似度把对方所有历史输出都读一遍通信成本反而比直接协商更高。解决办法是限制推理上下文。相似度计算只基于最近 N 轮的摘要而不是原始全文。可以先用一个轻量摘要模型把每轮输出压缩成固定长度向量再做相似度计算。这样通信成本从“传输全文”降为“传输向量”。如果通信量还是高检查是不是决策规则频繁需要额外信息。阈值规则不需要额外通信而基于强化学习的策略可能每轮都要重新采样这时就要评估收益增加是否值得。5.3 过拟合到固定对手两个 Agent 在固定环境下跑了几百轮之后会养成针对对方特定行为的合作习惯。一旦更换对手合作率可能瞬间崩盘。这说明学到的不是通用合作策略而是对某个对手的过拟合。避免方法有三条训练时定期轮换对手随机中断合作观察恢复速度以及在相似度计算中加入置信度信息。对方行为与历史模式偏差过大时即便相似度分数高也要降低合作概率。5.4 排查顺序遇到实验不收敛或合作率异常按这个顺序排查先看收益曲线确认问题出现在收敛前还是收敛后。再看相似度分数分布判断信号是否有效。看动作分布确认是不是只有一方在单方面合作。查看日志里的输入输出记录排除 prompt 错误、路径错误、权限异常等低级问题。最后调整参数优先动推理窗口和阈值不要同时动多个参数。很多看似“模型不合作”的问题最后都是相似度信号没算对或者日志根本没记录。6. 边界、适用场景和后续延伸6.1 适合谁用这个方向对以下场景的参考价值最大。多 Agent LLM 系统设计当多个 Agent 需要在有限通信下协调任务时把“要不要信任对方”建模成相似度估计可以降低 Token 消耗和协调成本。对齐与激励机制研究如果要通过改变收益函数来引导模型合作相似性推理提供了一种度量“当前模型是否真的对齐”的可行路径。安全与审计通过观察模型之间的合作信号可以筛选出偏好高度异常、偏离共同目标的模型。教学和实验这个课题非常适合做成课程实验数据结构清晰、参数可调、结果可视化直观。6.2 不适合什么这个思路不是万能药。单次博弈中双方没有机会建立相似度估计合作依然很难自然产生。面对会动态改变策略的对手相似性推理的滞后性会被放大这时需要引入对手建模和预测而不是只靠相似度。还有一个必须说清楚的边界相似性不等于真实对齐。两个模型输出相似可能是因为训练数据重叠也可能是因为它们在模仿外部风格而不是真的共享目标。相似性推理只能降低不确定性不能证明价值对齐。另外相似性的计算本身也有成本。如果嵌入模型很大特征提取会成为新的性能瓶颈。低配环境能跑通实验不代表适合生产环境的在线推理。6.3 接下来值得尝试的方向两条延伸路径比较靠谱。一是层级化合作。由一个协调者 Agent 先推断下层多个 Agent 的相似度矩阵再根据这个矩阵做任务分配。这比所有 Agent 两两互通信息更高效也更接近真实组织协作方式。二是把相似度分数作为反馈信号引入收益函数。不是简单地用阈值决定合作或背叛而是让相似度分数参与收益加权让 Agent 学会既关注即时收益也关注长期可合作性。这样合作策略会平滑很多不会因为单轮噪声而剧烈波动。对于想自己复现的人来说我建议先把单对 Agent 的重复博弈跑稳确认相似度信号真正有用再叠加层级协调或机制设计。这一步走稳了后面的大规模协作实验才有解释力。踩过一遍之后我最大的感受是这类理论方向的落地价值不取决于它听起来多高级而取决于你能不能把相似性度量、决策阈值和收益记录这三件事先跑稳。很多问题不是模型不会合作而是相似性信号没设计好或者日志缺失导致根本定位不到原因。先把最小实验做到可复现、可解释、可对比再谈更多智能体的协作和更复杂的机制。