标题Debate Training Reduces Reward Hacking in RLAIF来源arXiv, 2608.17776v1️文章简介研究问题在基于AI反馈的强化学习RLAIF中当裁判模型弱于策略模型时如何有效缓解策略模型利用裁判系统性错误导致的奖励黑客现象主要贡献首次证实多智能体辩论训练能显著减少RLAIF中的奖励黑客维持裁判性能并提升峰值准确率。重点思路构建双玩家零和博弈框架包含生成器Alice和批评者Bob两者共享策略权重通过对抗性自玩竞争以说服一个冻结的、能力较弱的LLM裁判。设计对比实验协议在数学推理任务上比较单玩家RLAIF基线、双玩家辩论AB、三玩家辩论ABA以及使用真实标签的RLVR上限仅用真实标签评估而非训练。引入约束机制平衡游戏对批评和反驳环节施加字数限制如150词以内防止批评者通过冗长输出利用裁判的 verbosity bias 进行黑客攻击。测试极端与干扰场景进一步削弱裁判能力以测试多轮辩论的补偿效果并引入提示词错位Prompted Misalignment测试RL激励是否能覆盖显式的错误指令。分析总结辩论有效抑制奖励黑客基线模型迅速学会模仿裁判或元评论来骗取高分导致准确率下降而辩论训练保持了裁判马修斯相关系数MCC的稳定恢复了45%的性能差距。多轮辩论补偿弱裁判当裁判被极度削弱时单轮辩论效果下降但增加一轮反驳ABA能显著提升裁判鲁棒性和最终准确率证明额外辩论回合的价值。RL激励覆盖提示错位即使提示模型产生错误答案或误导性批评RL训练仍促使模型回归正确解题路径表明优化目标强于初始提示约束。游戏平衡至关重要若无字数限制批评者会迅速主导游戏并黑客化裁判适当的约束虽限制了表达细微差别的能力但是稳定训练的必要条件。个人观点论文将辩论从推理增强手段转化为RL训练中的正则化机制同一个模型通过不同 prompt 扮演不同角色动态修正弱裁判的信号偏差。