互信息链式法则的证明（P124302005陈政煜）

引言互信息链式法则刻画联合随机变量组与目标变量间的总互信息可按观测顺序分解为逐变量增量条件互信息之和是信息论中信息累积、多源信息分解的核心恒等式。前提定义与公式二元标准形式设离散随机变量 X1,X2,Y联合互信息满足I(X1,X2;Y)I(X1;Y)I(X2;Y|X1)其中I(X1,X2;Y)为联合观测X1,X2所能提供给Y的总互信息I(X1;Y) 仅观测 X1 获得的基础互信息I(X2;Y|X1) 为已知 X1 前提下新增观测 X2 带来的边际增量互信息条件互信息。等价对称形式从 Y 向联合变量传递信息视角I(Y;X1,X2)I(Y;X1)I(Y;X2|X1)由互信息对称性 I(A;B)I(B;A) 可直接互推。n 维推广形式通用链式定义对 n 个随机变量 X1,X2……,Xn与目标变量Y总互信息可递归分解为逐阶条件互信息累加公式说明互信息条件互信息链式熵证明方法一基于熵分解的核心代数推导原理从互信息与熵的等价关系切入利用熵的链式结构完成分解。联合变量互信息的熵表达对联合熵做链式分解对条件联合熵做链式分解代入并重组项证明方法二在概率空间层面从原始概率求和定义直接展开原理从互信息原始对数求和定义出发通过条件概率分式拆分、求和重排回归定义式。原始定义展开利用条件概率恒等变形分式推导依据对数拆分将单重和拆为两项和第一项第二项对第一项边际化 x2因此第二项整理为条件互信息定义合并即可得到链式法则。证明方法三利用对称性与反向信息分解原理借助互信息对称性 I(A;B)I(B;A)从Y向X传递信息的视角重构推导。对称性变形用熵表达右侧对条件熵做增量分解代入重组再次应用对称性最终还原为原式。工程意义量化信息增益支撑系统优化决策将复杂联合信息转化为可量化的增量项为通信、信号处理、智能系统提供可解释的信息度量依据。适配多维系统降低分析复杂度面对高维随机变量、耦合系统时通过递归分解将全局信息问题转化为逐阶局部分析大幅降低理论推导与数值计算难度。统一信息分析框架依赖线性假设、适配连续场景可贯通通信、雷达、机器学习、生物信息等领域。推广应用机器学习特征选择与降维利用链式法则按顺序计算增量条件互信息优先选取能带来最大边际信息增益的特征剔除冗余。MIMO通信与多输入信道容量分析将多天线发射端联合互信息分解为各天线分量的增量信息累加量化每根天线、每路数据流对接收端的边际信息贡献指导波束成形、功率分配与编码方案设计。多传感器融合与时序信息建模在雷达、物联网传感、图像序列分析中按观测时序/空间位置分解总互信息量化新增传感器帧、采样点带来的有效信息优化采样频率、传感部署与数据融合策略抑制噪声与冗余带来的性能损耗。