1. 项目概述从“看牌”到“算牌”的智能博弈之旅“麻将AI”这四个字听起来像是科幻电影里的桥段但当你真正坐下来试图教会一台机器理解“吃、碰、杠、听、胡”这一整套复杂逻辑并在此基础上做出最优决策时你会发现这远比想象中要困难得多。这不仅仅是一个编程问题更是一个典型的“不完全信息博弈”难题。与象棋、围棋这类棋盘信息完全公开的“完全信息博弈”不同麻将玩家只能看到自己的手牌和已经打出的牌对手的牌墙、手牌都是未知的。这种信息的不对称性使得麻将AI的构建充满了挑战与魅力。我花了相当长一段时间从零开始摸索将强化学习、博弈论与麻将规则相结合最终完成了一个具备基本竞技能力的麻将AI模型。这篇笔记就是这段从“看牌”到“算牌”旅程的完整记录希望能为同样对AI博弈感兴趣的朋友尤其是想切入不完全信息博弈领域的同行提供一条清晰的实践路径。这个项目的核心目标是构建一个能够在标准麻将规则下通过自我对弈学习策略的智能体。它需要学会处理手牌、评估牌型价值、预测对手牌况、并在“进攻做牌胡牌”与“防守防止点炮”之间做出动态权衡。整个过程涉及环境模拟、状态表示、策略网络设计、奖励函数制定以及训练流程优化等多个环节。无论你是机器学习的研究者还是对棋牌AI充满好奇的开发者理解这套框架都能为你打开一扇新的大门。2. 核心思路与框架设计如何为麻将建模构建麻将AI的第一步也是最关键的一步就是为这个复杂的游戏建立一个既准确又高效的数学模型。你不能直接把一整副麻将牌扔给神经网络然后指望它自己悟出规则。我们需要将游戏“翻译”成机器能理解的语言。2.1 游戏状态的形式化表示麻将的状态空间极其庞大。一副麻将共有34种牌万、条、筒各9种字牌7种每种牌有4张。一个玩家的手牌是13张牌墙、已打出的牌、其他玩家的手牌未知共同构成了游戏状态。直接使用“原始牌面”作为输入是低效且难以学习的。我的做法是采用一种高度结构化的特征表示将状态编码为一个多维向量。这个向量主要包含以下几个部分手牌特征这是最核心的部分。我使用了一个34维的向量来表示手牌每个维度对应一种牌数值表示该牌在手中的张数0到4。此外为了帮助AI理解牌型组合我还额外计算并拼接了以下特征面子刻子、顺子潜力计算手牌中所有可能组成刻子三张相同或顺子三张同花色连续的牌组数量。这能直接反映手牌向听数距离胡牌还差几步的远近。对子与雀头明确标识手牌中对子的数量及种类因为雀头将牌是大多数胡牌牌型的必要条件。花色分布统计万、条、筒、字牌各自的数量帮助AI判断应该向哪个花色方向发展。公共信息特征包括所有玩家已经打出的牌牌河、明杠、明碰的牌。这部分信息是公开的可以用来推断哪些牌是“安全牌”被打出过不太可能被其他玩家需要哪些牌是“危险牌”。我同样用34维向量来编码每种牌在牌河中的出现次数。回合与玩家信息当前是第几巡轮次、当前玩家是第几家门风、庄家是谁、剩余牌墙的大致数量等。这些信息会影响策略例如在牌局后期防守的权重会显著增加。动作历史特征记录近期如前5巡自己和其他玩家的出牌序列。这有助于捕捉一些简单的模式比如某家连续打出同一花色的中张牌可能是在做“清一色”或“缺一门”。通过将这些特征拼接起来我们得到了一个几百维的状态向量。这个向量虽然丢失了麻将牌直观的“图案”信息但极大地浓缩了与决策相关的逻辑信息为后续的神经网络处理打下了坚实基础。注意特征工程的质量直接决定了AI的天花板。初期我尝试的特征较少AI学习速度很慢且经常做出违背麻将常识的决策比如有听牌机会却不听。后来逐步增加了“向听数变化”、“打某张牌后手牌熵值混乱度”等更复杂的中间特征模型的表现才有了质的提升。2.2 动作空间与决策点麻将的决策不是连续进行的而是在特定的“决策点”触发。主要决策点包括摸牌后选择打出一张牌。他人打牌后选择是否“吃”、“碰”、“杠”、“胡”。开杠后从杠尾补牌然后决定打出一张牌。动作空间也需要被离散化。对于“出牌”动作就是34选1。“吃、碰、杠、胡”则是二选一执行或不执行以及具体如何执行的选择例如用哪两张牌去吃上家打出的牌。在实现时我将所有可能的合法动作根据当前手牌和规则计算得出映射为一个固定长度的动作列表神经网络的任务就是为列表中的每个动作输出一个概率值或价值评分。2.3 核心框架选型为何是深度强化学习面对不完全信息博弈传统博弈论中的“纳什均衡”求解在麻将这种规模的问题上几乎不可行。蒙特卡洛树搜索MCTS在完全信息博弈如围棋中效果卓著但在信息不完全时需要大量的“虚拟对局”来猜测对手的牌计算开销巨大。因此我选择了深度强化学习Deep Reinforcement Learning, DRL作为核心框架具体是近端策略优化PPO算法。原因如下端到端学习DRL可以让AI直接从状态特征映射到动作策略无需人工编写复杂的启发式规则。我们只需要定义好状态、动作和奖励AI就能在无数次自我对弈中摸索出胜率更高的打法。处理随机性与长期规划麻将具有极强的随机性摸牌和长期收益特性当前牺牲可能为了后期大牌。DRL特别是基于策略梯度的PPO算法非常适合学习这种延迟奖励下的策略。PPO的稳定性相比于早期的策略梯度算法如TRPOPPO通过裁剪概率比来限制每次策略更新的幅度使得训练过程更加稳定不易崩溃。这对于需要长时间训练的麻将AI至关重要。整个训练框架可以概括为多个AI智能体或一个智能体的多个副本在一个高度仿真的麻将环境中进行自我对弈。每一步智能体根据当前状态输出动作概率环境执行动作并转移到下一个状态同时给出一个即时奖励。成千上万局对弈产生的状态动作奖励序列被收集起来用于周期性更新神经网络的参数目标是最大化长期累积奖励。3. 神经网络架构与奖励函数设计框架确定了接下来就是填充血肉——设计智能体的大脑神经网络和定义它的“喜好”奖励函数。3.1 策略-价值网络双头架构我采用了一个共享特征提取层末端分叉为“策略头”和“价值头”的经典Actor-Critic架构。共享层由若干全连接层如256维、128维组成负责从高维的状态特征向量中提取抽象的、与决策相关的特征。这里使用了ReLU激活函数来引入非线性。策略头Actor接收共享层提取的特征输出一个维度等于所有可能动作数量的概率分布。这个分布定义了在给定状态下选择每个动作的概率。在训练时智能体根据这个概率分布进行采样以探索在评估时则选择概率最高的动作。价值头Critic同样接收共享层的特征输出一个标量值代表对当前状态“好坏”的评估即预期未来累积奖励的总和。这个值不直接指导动作选择但在训练过程中用于计算优势函数从而更准确地评估策略头做出的动作是“好”还是“坏”引导策略向更好的方向更新。这种架构的优势在于特征提取是共享的策略和价值评估可以相互促进、共同学习比单独训练两个网络效率更高。3.2 奖励函数引导AI学会“赢”的艺术奖励函数是强化学习中的“指挥棒”它告诉AI什么行为是值得鼓励的。设计一个合理的奖励函数是项目成功的关键。一个幼稚的设计是只有胡牌时给1奖励点炮时给-1奖励其他情况为0。这样做的结果是AI学习效率极低因为它很难将最终的胡牌与几十步前的决策关联起来。我设计了一个包含稀疏奖励和稠密奖励的混合奖励函数稀疏奖励最终奖励自摸胡牌1.0 最高奖励荣和胡别人的牌0.8被对手胡牌点炮-1.0 严重惩罚流局根据手牌听牌情况给予微小正奖励或负奖励例如听牌了给0.1没听牌给-0.1。稠密奖励中间奖励向听数减少这是最重要的中间奖励。每当打出一张牌或进行吃碰杠后手牌的向听数如果减少了就给予一个正奖励如0.05。这直接鼓励AI向快速听牌的方向努力。牌型价值提升虽然最终目标是胡牌但做大牌如清一色、混一色、碰碰胡能获得更多分数。我会估算当前手牌潜在的最大番种当这个潜在价值有提升趋势时给予微小奖励。防守成功在牌局中后期如果打出的牌在一巡或两巡内没有被任何玩家吃碰杠胡即是一张“安全牌”给予一个很小的正奖励如0.01。这鼓励AI在必要时采取防守策略。动作惩罚对每一次吃、碰、杠动作给予一个微小的负奖励如-0.002。这是因为这些动作会暴露信息、固定手牌、减少摸牌机会不加节制地使用可能有害。这个惩罚迫使AI权衡这些动作的即时收益与长期代价。实操心得奖励函数的调参是个“手艺活”。初期我给了“向听数减少”过高的奖励导致AI变成了只会快速听牌的“愣头青”完全不做大牌也不防守经常听早但胡小牌甚至点炮。后来降低了该项奖励同时引入了“牌型价值”和“防守成功”奖励AI的行为才逐渐平衡学会了在速度、牌值和安全性之间做权衡。4. 训练环境构建与自我对弈流程有了智能体和奖励标准我们需要一个“战场”让它们学习——这就是训练环境。4.1 麻将环境模拟器我使用Python从头编写了一个四人对战的麻将环境模拟器。这个模拟器需要精准实现所有麻将规则以常见的立直麻将或国标麻将规则为蓝本包括牌墙的初始化、洗牌和摸牌。所有合法动作的判定能否吃、碰、杠、胡必须严格符合规则顺序如胡牌优先。游戏状态的推进与结算计算番数、分数变化。提供状态信息根据当前视角玩家生成对应的状态特征向量。执行动作并返回奖励。环境模拟器的代码必须高效且无错误因为训练过程中需要运行数百万甚至上千万局游戏。一个常见的坑是规则实现有细微漏洞导致AI学到利用漏洞的“歪门邪道”。4.2 自我对弈与分布式训练单机单进程的训练速度是无法接受的。我采用了异步自我对弈的模式启动一个主进程负责维护最新的策略-价值网络全局网络。启动多个工作进程例如16个每个工作进程复制一份全局网络并独立运行一个完整的麻将环境进行四家AI的对局。每一局游戏中四个玩家都使用同一个网络副本进行决策。游戏过程中记录下每一步的状态动作奖励下一个状态数据。一局游戏结束后工作进程将本局收集到的所有数据可能包含数百个数据点传回主进程。主进程收集到足够多的数据后例如来自多个工作进程的几千局数据便利用这些数据执行一次PPO算法更新更新全局网络的参数。更新完成后主进程将新的网络参数同步给所有工作进程工作进程用新参数开始新一轮的对局和数据收集。这个过程循环往复。通过这种方式我们实现了数据的并行收集和模型的集中更新极大地加快了训练速度。AI在自我对弈中既是学生也是老师通过不断对抗来进化策略。4.3 课程学习与对手池让AI从一开始就和完全体的自己对战就像让一个新手直接挑战世界冠军学习曲线会非常陡峭。我引入了课程学习和对手池策略课程学习训练初期我在奖励函数中暂时屏蔽了“防守成功”奖励并降低了点炮的惩罚。目的是让AI先专注于“如何做出好牌、快速胡牌”这个核心进攻技能。当它的进攻能力达到一定水平比如平均每局能胡牌1-2次后再逐步引入防守奖励和加大点炮惩罚让它学习攻守平衡。对手池不总是让AI和最新版本的自己打。我会保存训练过程中不同阶段的模型快照形成一个“对手池”。在训练时随机从对手池中选取不同水平的AI作为对手。这样可以让当前AI学会应对各种风格的对手从激进到保守防止其策略过于特化从而提升泛化能力。5. 模型评估、问题排查与性能优化训练不是一蹴而就的我们需要一套方法来评估AI的水平并解决训练中出现的问题。5.1 评估指标与基准测试不能只看训练损失曲线下降就认为模型变好了。我建立了几个关键的评估指标胜率/胡牌率让当前AI与一个固定版本的基准AI例如训练中期的某个模型进行1000局对战统计其胡牌局数占总局数的比例。这是最直接的强度指标。平均打点统计AI胡牌时的平均得分。这反映了其做大牌的能力。放铳率统计AI点炮的局数比例。这是衡量其防守能力的关键。平均顺位在四家对战中计算其平均排名1到4。综合性的实力指标。人类先验测试设计一些经典的麻将局面例如“断幺九一向听该打哪张”看AI的选择是否符合人类高手的普遍判断。这能检验其策略是否“合理”。我编写了一个自动化的评估脚本每隔一定的训练步数如每更新5000次就启动一次评估将上述指标记录到日志和图表中。5.2 训练中常见问题与排查在漫长的训练过程中我遇到了无数问题以下是一些典型问题及解决思路问题现象可能原因排查与解决思路胜率长期不增长甚至下降1. 学习率过高或过低。2. 奖励函数设计不合理有冲突。3. 神经网络容量不足层数/神经元太少。4. 探索不足陷入局部最优。1. 绘制损失函数和奖励曲线检查是否震荡或停滞。调整学习率尝试使用学习率热身和衰减策略。2. 仔细分析AI的典型对局看其行为是否符合预期。可能需要简化奖励函数先确保核心目标如减少向听数被学会。3. 逐步增加网络层数或神经元数量观察效果。4. 在PPO中可以适当增大用于控制探索的熵奖励系数。AI策略过于单一或愚蠢1. 状态特征表示缺失关键信息。2. 动作空间采样时探索噪声太小。3. 对手太弱没有进化压力。1. 回顾特征工程思考人类高手会关注哪些信息如某家是否立直、牌河的字牌分布尝试加入新的特征。2. 确保在训练时策略网络输出的动作概率是用于采样的而不是直接取argmax。检查熵值是否过早降为0。3. 使用对手池引入更强或不同风格的对手。训练不稳定奖励剧烈波动1. 批次大小Batch Size太小。2. PPO中的裁剪参数Clip Epsilon设置不当。3. 优势估计GAE的λ参数或折扣因子γ设置有问题。1. 增大从环境中收集的数据量确保每次更新用的数据批次足够大、多样化。2. PPO的Clip Epsilon通常设置在0.1到0.3之间可以尝试调整。3. γ控制未来奖励的重要性λ控制优势估计的偏差-方差权衡。对于麻将这种长局游戏γ可以设得高一些如0.99λ可以设为0.95。需要进行网格搜索调优。过拟合对训练对手很强对新对手很弱1. 训练数据多样性不足总是和固定策略打。2. 模型复杂度过高。1. 强化对手池策略确保对手池中模型的策略差异足够大。2. 可以尝试在训练过程中加入轻微的随机性例如让对手有很小概率采取完全随机动作以增加环境的随机性。5.3 性能优化技巧当模型基本成型后还可以从工程角度进行优化状态特征预计算像“向听数”、“潜在番种”这类计算量较大的特征不要在每一步都实时计算。可以在环境初始化或状态变化时计算一次并缓存起来在需要时直接读取。动作掩码对于非法动作如手中没有的牌不要在神经网络输出后再过滤而应该在输入网络前就生成一个“动作掩码”将非法动作对应的概率强制设为0并在Softmax前应用。这能极大提高训练效率避免智能体在非法动作上浪费探索资源。向量化操作使用NumPy或PyTorch的向量化操作来批量处理状态特征和网络前向传播避免Python层面的循环。模型量化与剪枝在部署阶段可以对训练好的神经网络进行量化将FP32权重转换为INT8和剪枝移除不重要的神经元连接在几乎不损失精度的情况下大幅减小模型体积、提升推理速度。6. 从模型到实战策略分析与局限性探讨经过数周的训练我的麻将AI已经能够稳定地战胜早期版本的自己并在一些测试对局中展现出令人惊讶的“牌感”。但将其与人类高手对比或深入分析其策略仍能发现明显的局限性和有趣的洞察。6.1 AI策略的可解释性分析通过可视化工具分析AI在特定局面下的决策可以发现一些学习到的模式早期牌局AI倾向于快速处理孤张字牌和边张1、9这与人类“先打风箭再打边张”的初级理论一致。但它对“客风”非门风、圈风的舍弃更为果断。中盘进攻当手牌有良好形状时AI对减少向听数的奖励非常敏感打牌选择往往直奔最快听牌路线。它对于“两面搭子”的价值理解非常深刻几乎从不轻易拆解。中后期防守当牌河中某张牌已经出现3张时AI会毫不犹豫地将其视为绝对安全牌打出。对于疑似对手听牌的情况它会倾向于打出现张牌河中已有的牌或“同线筋牌”例如如果5万是安全牌那么2万和8万也被认为是相对安全的这体现了对“现物”和“筋牌”理论的学习。役种偏好由于奖励函数中对大牌有额外激励AI会主动向“混一色”、“对对和”等番种靠拢。但对于需要高度隐蔽性和策略性的“七对子”、“国士无双”等特殊牌型它的选择频率远低于人类高手因为构建这些牌型往往需要更长期的规划和对风险的更高容忍度AI在训练中可能难以稳定学到。6.2 当前模型的局限性尽管取得了一定成果但这个麻将AI距离“高手”还有很大差距读牌能力薄弱这是不完全信息博弈的核心难点。目前的AI主要依赖牌河等公共信息进行简单的频率统计如某张牌出了几张缺乏深层次的、基于对手行动序列的“读牌”模型。它无法像人类高手那样通过对手的吃碰、舍牌顺序来精确推断其手牌范围和听牌张。全局策略单一AI的策略本质上是一个“条件反射”网络根据当前状态做出局部最优决策。它缺乏真正的“全局规划”能力例如为了后期做成“三色同顺”而早期保留特定搭子或者在明知某家做大牌时战略性放弃自己的小牌去全力防守。这种需要多步推理和风险评估的高级策略是当前模型难以实现的。心理与 bluff诈唬麻将包含心理博弈人类会通过打牌来误导对手。目前的AI完全没有这个概念它的行为是完全“诚实”地基于其手牌价值这反而使其行为在某些情况下更容易被预测。规则泛化性差模型是在一套特定规则如无食断、有红宝牌下训练的。如果切换到差异较大的规则如广东麻将、四川血战到底模型性能会急剧下降几乎需要重新训练。6.3 未来的改进方向基于这些局限性后续的探索可以围绕以下几个方向展开引入对手建模在状态特征中显式地加入对其他玩家手牌的概率分布估计。可以使用递归神经网络RNN或Transformer来编码对手的历史行动序列输出一个对手手牌的隐藏状态表示并将其作为当前状态的一部分输入策略网络。这是提升读牌能力的关键。分层强化学习将决策过程分层。高层网络负责制定宏观目标如“这局主打速攻”或“这局转向防守”底层网络负责执行具体的打牌动作。这有助于实现更长期的规划。集成搜索与学习结合蒙特卡洛树搜索MCTS。在每一步决策时不是完全依赖神经网络而是以神经网络输出的策略和价值作为先验进行有限深度的MCTS模拟。AlphaGo和AlphaZero的成功证明了“学习搜索”的强大。对于麻将可以针对当前玩家视角随机假设其他玩家的手牌进行多次快速模拟以此修正神经网络的输出做出更稳健的决策。多任务与元学习让AI同时在多种麻将规则变体下进行训练或者学习快速适应新规则。这可以提升模型的泛化能力和鲁棒性。构建这个麻将AI的过程是一次深入不完全信息博弈和深度强化学习的绝佳实践。它让我深刻体会到将复杂的现实问题转化为可计算模型的过程中特征工程、奖励设计、训练技巧每一个环节都至关重要。最终的模型或许还无法在实战中击败顶尖人类牌手但它所展现出的学习能力和在某些局面下的“合理”判断已经足够令人兴奋。这个项目更像一个起点它清晰地勾勒出了当前方法的边界也为通往更强大的博弈智能指明了需要突破的方向。如果你也对此感兴趣不妨从搭建一个简单的麻将环境模拟器开始亲自体验一下教AI打牌的乐趣与挑战。